开源ChatGPT要来了;软件2.0智能革命;GLM、Diffusion模型大加速

1

2023年AI十大展望:GPT-4领衔大模型革新,谷歌拉响警报,练习数据告急

新年伊始,大模型的论题热度不减。ChatGPT展现的惊人才能将大模型研讨和运用热度推向高潮,人们剧烈讨论着这个高档“物种”的推出意味着什么。

本文作者Rob Toews发布了2023年AI开展的十大预测,全体来看,大部分预测都离不开“大模型”这个关键词,具体分析也有其道理。当然,其中的文生图、人形机器人等领域的开展也无足轻重。2023,让咱们拭目而待。

链接:

mp.weixin.qq.com/s/E_v7k_Vlb…

2

机器之心的进化 / 理解AI驱动的软件2.0智能革命

本文将带你领略一次人工智能领域波澜壮阔的开展史,从关键人物推动的学术发展、算法和理念的呈现、公司和产品的前进、还有脑科学对神经网络的迭代影响,这四个维度来深刻理解“机器之心的进化”。先忘掉那些花里胡哨的图片生产运用,咱们一起来学点挨近AI实质的东西。

链接:

mp.weixin.qq.com/s/5s1hLaXnW…

3

AGI的孤勇者,传奇工程师John Carmack:惊奇看不到如我这样的人

AGI是人工智能的圣杯,这位达拉斯最著名的科技奇才对AGI的寻求就好比是百年难遇的登月行动。在这场针对AGI的比赛傍边,参加方还有来自科学家、学者和大型科技公司的“群体思维(groupthink)”的独立竞争,他们也在活泼寻求解决方案。

上一年8月,Carmack宣布,他的AGI初创公司Keen Technologies在新一轮融资中从多个闻名投资者手中筹集了2000万美元。2022年12月,卡马克辞去了Meta虚拟现实部分的领导职务,全身心投入AGI研制。

链接:

mp.weixin.qq.com/s/MMfWc6ss8…

4

OpenAI掌门人Sam Altman的成功学

如今,已成为OpenAI CEO的Sam Altman是全球范围内当之无愧的科技领军人物。在离任YC总裁的那一年,曾与无数创业者和技能人才交流过的Sam Altman发表了一篇博客,总结了他眼中获得成功所要具备的13个特质,假如你渴求成功,或许至少期望自己变得优秀,这篇博客对你的个人成长将有所启示。假如你恰好在职业生涯前期就看过,无疑是走运的。

链接:

mp.weixin.qq.com/s/AHEbDPSCU…

5

ChatGPT,和聪明地规划Infra

作者首要有四个观点:ChatGPT并不是黑科技,是继续开放科研的产品;ChatGPT是工程、产品的成功;ChatGPT不会让人失业,反而会带来更多的时机;Infrastructure 会是这一场仗傍边的赢家,但是要聪明地规划Infra。

链接:

mp.weixin.qq.com/s/oM0V0MymM…

6

Open Assistant:LAION建议开源ChatGPT项目

ChatGPT的效果惊人,但不开源。明显开源社区有人憋不住了。LAION(代表作是大名鼎鼎的数据集LAION-5B)的组织者Christoph Schuhmann与Yannic Kilcher(AI圈闻名的YouTube大V)一通视频电话,就启动了项目,很快项目的Discord讨论组就进了许多人,无比活泼起来。最开端项目名称是open-chat-gpt,大约一周后改为Open Assistant。

链接:

hub.baai.ac.cn/view/22872

7

国内开发者建议ChatRWKV项目,做开源ChatGPT

ChatRWKV 类似于 ChatGPT,但由RWKV(100% RNN)言语模型供给支撑,这是现在仅有能够在质量和缩放方面与 Transformer 相媲美的 RNN,一起速度更快并节省 VRAM。

链接:

zhuanlan.zhihu.com/p/603840957

8

通向AGI之路:大型言语模型(LLM)技能精要

ChatGPT呈现后惊喜或吵醒了许多人。惊喜是因为没想到大型言语模型(Large Language Model)效果能好成这样;吵醒是顿悟到咱们对LLM的认知及开展理念,距离世界最先进的主意,差得有点远。作者称,作为既惊喜又吵醒的那一批,也是典型的中国人,中国人善于自我反思,所以开端反思,而这篇文章正是反思的成果。

链接:

mp.weixin.qq.com/s/eMrv15yOO…

9

Jeff Dean发推:谷歌年终总结「第三弹」,大力开展Jax

随着算法和硬件越来越复杂,以及运转规模越来越大,执行日常使命所需的软件的复杂性也在不断添加。

在这篇文章中,研讨人员概述了曩昔一年整个谷歌在ML体系方面获得的众多发展,这些发展使谷歌能够支撑复杂模型的服务和练习,一起减轻了终端用户的施行复杂性。一起,这篇文章还提到了谷歌怎么利用ML本身来改善和规划下一代体系仓库的研讨。

链接:

mp.weixin.qq.com/s/TVMYYPK_C…

10

和TensorFlow一样,英伟达CUDA的独占格局将被打破?

谷歌前期在机器学习模型架构、练习、模型优化方面都具有很大优势,但现在却难以充分发挥这些优势。而在硬件方面,其他 AI 硬件公司很难削弱英伟达的控制位置。直到 PyTorch 2.0 和 OpenAI Triton 呈现,机器学习模型的默许软件仓库将不再是英伟达的闭源 CUDA。

链接:

mp.weixin.qq.com/s/dGpf6DOya…

11

OneFlow v0.9.0正式发布

本次更新包括 640 个 commit,完整更新列表请检查链接:github.com/Oneflow-Inc… v0.9.0 首要包括9大新增亮点功能和优化。

链接:

mp.weixin.qq.com/s/8Vb9fIQs0…

12

GLM国产大模型练习加速:功能最高提高3倍,显存节省1/3,低成本上手

OneFlow近期将原始的 GLM 项目移植到了运用 OneFlow 后端进行练习的 One-GLM 项目。得益于 OneFlow 和 PyTorch 无缝兼容性,咱们快速且平滑地移植了 GLM,并成功跑通了预练习使命(练习 GLM-large)。

此外,因为 OneFlow 原生支撑 DeepSpeed 和 Apex 的许多功能和优化技能,用户不再需求这些插件就可练习 GLM 等大模型。更重要的是,针对当时 OneFlow 移植的 GLM 模型,在简单调优后就能在功能以及显存占用上有大幅提高。

链接:

mp.weixin.qq.com/s/dkTGXuJV3…

13

A16Z:生成式AI渠道,谁主沉浮?

不像许多抢手的技能趋势在商场跟上其步伐前就被过度炒作了,生成式AI的热潮却伴随着极高的商场欢迎度以及实在的商场收益。如Stable Diffusion和ChatGPT的模型们正在发明用户增加的历史记录,一些运用在发布不到一年的时间里就完成了1亿美元的年营收。

对照表明,AI模型在某些使命上的表现优于人类好几个数量级。已有满足的前期数据表明范式搬运正在发生。

链接:

mp.weixin.qq.com/s/bh5uw06Iz…

14

35张图,直观理解Stable Diffusion

Stable Diffusion用途多样,是一款多功能模型。首要它能够根据文本生成图画(text2img)。上图是从文本输入到图画生成的示例。除此之外,咱们还能够运用Stable Diffusion来替换、更改图画(这时咱们需求一起输入文本和图画)。

本文介绍了Stable Diffusion的内部结构,了解内部结构能够让咱们更好地理解Stable Diffusion的组成、各组成部分的交互方式、以及各种图画生成选项/参数的含义。

链接:

mp.weixin.qq.com/s/8C2RqYrHZ…

15

“零”代码改动,静态编译让太乙Stable Diffusion推理速度翻倍

近期,OneFlow 团队为太乙 Stable Diffusion 适配了 OneFlow 后端,大大提高了推理功能,也能够做到一秒出图。不少开发者好奇OneFlow运用了哪些优化“秘笈”,后文将进行简要解读。

链接:

mp.weixin.qq.com/s/XaR1W8yKP…

16

“一键”模型迁移,功能翻倍,多言语AltDiffusion推理速度超快

因为现在大部分团队首要是根据翻译 API + 英文 Stable Diffusion 模型进行开发,所以在运用中文独特的叙事和表达时,英文版模型就很难给出正确匹配的图片内容,这对部分国内用户来说不太便利。

为此,智源研讨院出品了首个支撑 9 种言语的 AltDiffusion。近期,OneFlow 团队为其适配了 OneFlow 后端,大大提高了推理功能,也能够做到一秒出图。

链接:

mp.weixin.qq.com/s/whJlFifyz…

17

Runway发布视频生成器GEN-1,成果比Stable Diffusion 1.5提高73.83%,比Text2Live提高88.24%

Runway成立于2018年,是一家AI视频修改软件供给商,首要为规划师、艺术家和开发人员供给一系列的东西和渠道,产品是协助专业人士生成各种内容。其发布的GEN-1可通过将图画或文本提示符的组成和款式运用到源视频的结构上,实际地并始终如一地组成新视频,演示效果惊人。GEN-1现在仍处于内测阶段。

链接:

hub.baai.ac.cn/view/23978

欢迎 Star、试用 OneFlow 最新版别:
github.com/Oneflow-Inc…