资讯原文地址：zaozaoliao.feishu.cn/wiki/UANlws…
资讯功用内测中，欢迎各位能够多多提主张，咱们将快速迭代～
「 行业动态 」
◇ Transformer 取代者上台！微软清华推出 RetNet：推理进步 8 倍， 内存 占用降 70% Link ， Paper
Transformer 已成为 LLM 遍及选用的架构，然而其练习并行性是以低效推理为代价。RetNet 一起实现了低本钱推理、高效长序列建模、媲美 Transformer 的功能和并行模型练习，打破了“不可能三角”。试验表明，对于 7B 模型和 8k 序列长度，RetNet 的解码速度是带键值缓存 Transformers 的 8.4 倍，内存节约 70%。RetNet 练习比标准 Transformer 节约 25-50%的内存，提速 7 倍，并在高度优化的 FlashAttention 方面具有优势。RetNet 推理推迟对批巨细不敏感，然后实现了巨大吞吐量。但有研究者提出疑问：这么优秀的表现是否意味着 RetNet 要在某些方面有所权衡，以及它能否扩展到视觉范畴。
◇ FlashAttention 进化！v2 提速 5-9 倍，高达 225 TFLOPs /s Twitter ， Github
相比于 v1，更强壮，在 A100 上练习速度高达 225 TFLOPs/s，比标准注意力进步 5-9 倍速，瞬间席卷各大深度学习库。（上一年发布 FlashAttention，自注意力机制提速 2-4 倍，现已广泛应用于各大语言模型库）
◇ 缓兵之计？ OpenAI 「打死都不说」的 GPT-4 练习细节被传出，这是我的解读 Link
“OpenAI 可能是有意放出的本次风闻…所以，这也许是 OpenAI 的缓兵之计——我就给你们透露一些 GPT-4 的信息，让头部的玩家都先去做 GPT-4 的复刻工作，把 OpenAI 现已走过的路也再走一遍。”
◇ 650 亿参数 LLM 预练习计划开源可商用！仅需 32 张 GPU ，助力 LLaMA 模型提速 38% Link ， Project
Colossal-AI 开源 650 亿参数大模型的预练习计划，发布即开源。仅需 32 张 A100/A800 GPU，即可将 LLaMA 大模型的预练习速度进步 38%。更可贵的是，不约束商用，为大模型企业节约大量本钱。
◇ Wix 推出网站自动生成服务，秒级创立网站 Twitter
Wix 倾力推出 AI 网站生成器，仅需几秒钟，就能创立归于你的全新网站。无需编程，无需等待，只需简单描绘，答复几个问题，一切安排妥当。Wix CEO Avishai Abrahami 着重，Wix 致力凭借 AI 推动网站创立进步，助力企业发展。
◇ 一站式 AI 人物定制 RealChar：实时对话，无界沟通 Project ， Github ， Twitter
RealChar，一个轻松创立、自定义并与 AI 人物实时对话的渠道。这儿，您无需任何编程知识，即可打造出具有独特个性、背景和声响属性的 AI 人物。不管您身处何处都能通过 Web、PC 等渠道，与您的定制 AI 人物进行深入沟通。
◇ 【陈述】 AI 大模型 赋能千行百业 Download
「 早点趣玩 」
◇ Jerry Liu 共享 RAG 构建教程 Twitter
通过教程了解怎么自下而上构建聊天机器人。
◇ Reddit 热帖：为何 AI 没有全面接入语音帮手？ Reddit
这是 Reddit 论坛 ChatGPT 子区一篇十分有意思的帖子，讨论为什么现在还未根据 LLM 的语音帮手产品 。近 500 条谈论各抒己见，从技能、商业和伦理视点，论述面临着哪些问题。
◇ 2023 年上半年国内外生成式 AI 及 大模型 企业融资事情
「 讲师招募 」
2023 年 8 月 12 日，早早聊计划举行线上【前端搞构建】专场
讲师报名，可联系早早聊负责人 Micky （wx：wongmicky）
️ 能够聊聊：各类跨端、跨栈构建解决计划、构建的难点与挑战、Bundle 与 Bundleless 构建东西、本地/远程/上云构建计划、工程体积与构建功能、模块标准与模块规范、根据服务/浏览器的构建、分发等…
讲师福利，一次共享，即可享用：
- 永久免费与会前端早早聊大会
- 免费参加早早聊举行的酒蒙子局，知道更多技能人、创业人、AI 同行者
- 线上招聘，社区优先简历内推
- 还有更多等你来解锁…
