1
多模态GPT-4正式发布：支撑图画和文本输入，效果逾越ChatGPT
OpenAI的里程碑之作GPT-4总算发布，这是一个多模态大模型（承受图画和文本输入，生成文本）。首要才能有：
- GPT-4可以更精确地解决难题，具有更广泛的常识和解决问题的才能：更具创造性和协作性；可以承受图画作为输入并生成阐明文字、分类和剖析；可以处理超过 25,000 个单词的文本，答应长文内容创立、扩展对话以及文档查找和剖析等用例。
- GPT-4的高档推理才能逾越了ChatGPT。
- 在SAT等绝大多数专业测试以及相关学术基准评测中，GPT-4的分数高于ChatGPT。
- GPT-4遵从GPT、GPT-2和GPT-3的研讨路径，利用更多数据和更多计算来创立越来越复杂和强壮的言语模型（数据量和模型参数并未发布）。
- OpenAI花了6个月时间使GPT-4更安全、更具一致性。在内部评价中，与GPT-3.5比较，GPT-4对不答应内容做出回应的或许性下降82%，给出事实性回应的或许性高40%。
- 安全与对齐：引入了更多人类反应数据进行练习，以改善GPT-4的行为；不断吸取实际世界运用的经验教训进行改善；GPT-4的高档推理和指令遵从才能加快的安全性研讨作业。
OpenAI还开源了Evals结构（github.com/openai/eval… 以自动评价AI模型功能，答运用户报告模型中的缺点，以帮助其改善。
OpenAI表明，GPT-4仍然有许多正在努力解决的已知局限性，例如社会成见、错觉和对抗性prompt。目前，OpenAI正在ChatGPT Plus上供给GPT-4，并为开发人员供给API以构建运用和服务。值得一提的是，微软的New Bing早就用上了GPT-4。
链接：
API请求：
openai.com/waitlist/gp…
openai.com/product/gpt…
mp.weixin.qq.com/s/kA7FBZsT6…
2
OpenAI发布通用人工智能路线图：AGI比幻想中来得更快
在ChatGPT引爆科技圈之后，人们对于先进技能产生了更多期待，但一向有专家警告 AI 或许形成的危害。咱们知道，OpenAI的任务是保证通用人工智能 —— 比人类更聪明的AI系统，可以谋福全人类。近期，OpenAI发布了「AGI 路线图」，详细解说了这家前沿研讨机构对通用人工智能研讨的态度。
链接：
mp.weixin.qq.com/s/zu1a9p3nD…
3
逾越ChatGPT：大模型的智能极限
在此前《大型言语模型的出现才能》、《ChatGPT进化的隐秘》两篇文章中，符尧剖析了大型言语模型的突现才能和潜在优势，大模型所带来的“潜在的”范式改变，并拆解了ChatGPT演进的技能路线图。
在本文中，作者以终为始剖析了大模型的智能极限及其演进维度。不同于守株待兔式只追求复现ChatGPT的经典互联网产品思维，而是指出了OpenAI安排架构和尖端人才密度的重要性，更重要的是，共享了模型演化与产品迭代及其未来，考虑了怎么把最深入、最困难的问题，用最创新的方法来解决。
链接：
mp.weixin.qq.com/s/PteNTHckN…
4
大型言语模型练习攻略
近年来，练习越来越大的言语模型已成为常态（悟道2.0模型参数量现已到达1.75T ，为GPT-3的10倍）。但怎么练习大型言语模型的信息却很少查到 。
链接：
zhuanlan.zhihu.com/p/611325149
5
大模型的三个基础假设
- 开源模型会大大下降准入门槛；2. 运用为王，模型为辅；3. 企业市场需求新的渠道服务
链接：
mp.weixin.qq.com/s/jC-_B_arD…
6
GPT-3/ChatGPT复现的经验教训
为什么一切公开的对GPT-3的复现都失败了？咱们应该在哪些任务上运用GPT-3.5或ChatGPT？对于那些想要复现一个归于自己的GPT-3或ChatGPT的人而言，第一个问题是关键的。第二个问题则对那些想要运用它们的人是重要的。
链接：
mp.weixin.qq.com/s/4B7wX0UhY…
7
ChatGPT查找的推理本钱剖析
实际上，每周推理ChatGPT的本钱都超过了其练习本钱。目前ChatGPT每天的推理本钱为700,000美元。假如直接将当时的ChatGPT集成到谷歌的每次查找当中，那么谷歌的查找本钱将大幅上升，达到360亿美元。谷歌服务业务部门的年净收入将从2022年的555亿美元下降至195亿美元。若将“类ChatGPT”的LLM布置到查找中，则意味着谷歌要将300亿美元的赢利转移到计算本钱上。
链接：
mp.weixin.qq.com/s/JHIUc_3nf…
8
ChatGPT模型参数≠1750亿，有人用反证法进行了证明
本文将运用反证法来证明并支撑上面的论点，只需求运用大学里学到的一些理论知识。另外需求注意，还存在相反的问题，即有人宣称ChatGPT只要X亿个参数（X远远低于1750）。可是，这些说法无法得到验证，因为说这些话的人通常是道听途说。
链接：
mp.weixin.qq.com/s/lzIQ50GCK…
9
从0到1，OpenAI的创立之路
最近，ChatGPT让国内不少精英再一次感受到落后的紧迫感，不少创业团队要打造“我国版的OpenAI”。咱们不乏真正有抱负的创业者，但幻想一下，假如在2015年现已有一支OpenAI团队，Sam Altman和Greg Brockman这群人很或许会去打造另一支不同于它的“DeepMind”团队，而不会称自己要去打造“硅谷版的OpenAI”，并且是为了复现ChatGPT。
链接：
mp.weixin.qq.com/s/E1_30D9Jw…
10
清华朱军团队开源首个基于Transformer的多模态分散大模型
当时的分散模型DALL・E 2、Imagen、Stable Diffusion等在视觉创作上掀起一场革命，但这些模型只是支撑文到图的单一跨模态功能，离通用式生成模型还有一定距离。而多模态大模型将可以打通各种模态才能，完成恣意模态之间转化，被认为是通用式生成模型的未来发展方向。
清华大学计算机系朱军教授带领的TSAIL团队近期公开的一篇论文《One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale》，首先发布了对多模态生成式模型的一些探究作业，完成了恣意模态之间的彼此转化。
链接：
mp.weixin.qq.com/s/B68hXlFxA…
11
编译器技能的演进与革新
在现代计算机系统中，编译器现已成为一个必不可少的基础软件工具。程序员经过高档言语对底层硬件进行编程，而编译器则负责将高档言语描述转换为底层硬件可以履行的机器指令。编译器在将运用程序翻译到机器指令的进程中，还需求对程序进行等价改换，然后让程序可以愈加高效地在硬件上履行。
链接：
mp.weixin.qq.com/s/wJxDPX-Hw…
12
AI开发大一统：谷歌OpenXLA开源，整合一切结构和AI芯片
如今，机器学习开发和布置受到碎片化的基础设施的影响，这些基础设施或许因结构、硬件和用例而异。这种彼此阻隔限制了开发人员的作业速度，并对模型的可移植性、效率和生产化形成了妨碍。经过创立与多种不同机器学习结构、硬件渠道共同作业的统一机器学习编译器，OpenXLA可以加快机器学习运用的交付并供给更大的代码可移植性。
链接：
mp.weixin.qq.com/s/p8daMLluT…
13
OpenAI Triton介绍
深度学习领域的新颖研讨思维通常是运用原生结构运算符的组合来完成的。虽然便利，但这种方法通常需求创立许多暂时张量，这或许会危害神经网络的大规模功能。这些问题可以经过编写专门的GPU内核来缓解，但由于GPU编程的许多复杂性，这样做或许会非常困难。
虽然最近出现了各种系统以简化此进程，但咱们发现它们要么过于冗长、缺少灵活性，要么生成代码的速度明显慢于咱们手动调整的基线。因此，一种最新的言语和编译器由此就诞生了。
链接：
zhuanlan.zhihu.com/p/606435901
14
PyTorch显存分配原理：以BERT为例
为什么在nvidia-smi显示的显存和实际占用不一致？模型练习和推理显存分别占用多大？怎么节约显存，进步显存利用率？Fp16有用吗？可以节约多少显存？怎么估算模型占用巨细？这篇文章将会解决这些问题。
链接：
zhuanlan.zhihu.com/p/527143823
15
OneFlow源码解析：Eager形式下的SBP Signature推导
SBP是OneFlow中独有的概念，其描述了张量逻辑上的数据与张量在真实物理设备集群上存放的数据之间的一种映射关系。SBP Signature即SBP签名，是OneFlow中独创且很重要的概念。
链接：
mp.weixin.qq.com/s/E2pL7OnMh…
16
面向Web的机器学习编译打破：纯浏览器运行Stable Diffusion
本文介绍了Web Stable Diffusion。这是世界上的第一个经过深度学习编译技能将 stable diffusion 彻底运行在浏览器中的项目。模型的悉数一切都运行在浏览器里，无需云端服务器支撑。
链接：
zhuanlan.zhihu.com/p/612517660
17
YOLOv5全面解析教程④：方针检测模型精确度评价
链接：
mp.weixin.qq.com/s/nvfAU6TwT…
欢迎 Star、试用 OneFlow 最新版本：
github.com/Oneflow-Inc…
