1. 2022年最佳AI论文32篇：DALLE 2、Stable Diffusion、ChatGPT等当选
大模型和文生图、跨模态是本年毫无疑问的热点，此外也有多篇GAN等视觉范畴的文章。GitHub上还有这些论文的短视频和文字解读、代码链接等。
从论文的主要贡献机构来看（有些机构虽然有贡献但排名较后有挂名嫌疑的，都被忽略不计了），好像能够反映出各公司在AI范畴的江湖地位：第一档：Google 8篇，Meta 6篇雄踞前二名，OpenAI 3篇但有两篇影响力巨大的（DALLE 2和ChatGPT），假如按代表作评价，或许不会输给两巨头。第二档：NVIDIA有2.5篇。第三档：国内腾讯、百度、微软（出自亚研院）各1篇。国外有三星、迪士尼各1篇。Snap、Adobe都是0.5篇。
高校总共5.5篇，不如两巨头一家，比较之下要差劲很多。其间：特拉维夫有1.5篇位居第一，但慕尼黑的Stable Diffusion影响巨大，应该视为第一档；CMU、南洋理工各1篇，第二档；南加大和伯克利各0.5篇，第三档。
链接：
github.com/louisfb01/b…
hub.baai.ac.cn/view/22798
2. 吴恩达的2022年终盘点：生成式AI、ViT、大模型
在曩昔的一年，生成式AI迎来爆发式增加，由人工智能生成的图片在社交渠道疯狂传达，引发很多争议的同时也推动了投资；视觉 Transformer(ViT) 的工作也呈现爆炸性增加，在曩昔一年中，研讨人员共计宣布超过 17,000 篇 ViT 论文；AlphaCode、Codex 等的推出便利了开发者，大受欢迎；与此同时，研讨人员也在不断拓展言语模型的鸿沟，在处理可信度、偏见和实时性等问题方面做出持续不断的努力。
链接：
mp.weixin.qq.com/s/nagtjtYD9…
3. 2022出圈的ML研讨：爆火的Stable Diffusion、通才智能体Gato，LeCun转推
今日，ML & NLP 研讨者、Meta AI 技能产品营销司理、DAIR.AI 创始人 Elvis S. 对 2022 年热度很高的 12 篇机器学习论文进行了汇总。帖子很火，还得到了图灵奖得主 Yann LeCun 的转推。
链接：
mp.weixin.qq.com/s/zdc2pixGv…
4. ChatGPT进化的秘密
ChatGPT 是怎样变得这么强的？它的各种强大的才能究竟从何而来？在这篇文章中，作者企图剖析 ChatGPT 的突现才能（Emergent Ability），追溯这些才能的来源，希望能够给出一个全面的技能路线图，来阐明 GPT-3.5 模型系列以及相关的大型言语模型是如何一步步进化成目前的强大形态。作者希望这篇文章能够促进大型言语模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。
链接：
mp.weixin.qq.com/s/dPpO18g3V…
5. 狂揽两千星，速度百倍提高，高性能Python编译器Codon开源
作为高性能 Python 编译器，Codon 可将 Python 代码编译为本机机器代码，而无需任何运行时开支。在单线程上，Python 的典型加快大约为 10-100 倍或更多。Codon 的性能一般与 C/C++ 的性能适当。与 Python 不同，Codon 支持本机多线程，这能够使速度提高很多倍。Codon 可通过插件基础结构进行扩展，它答使用户兼并新的库、编译器优化乃至关键字。
Codon 结构是彻底模块化和可扩展的，答应无缝集成新模块、编译器优化、范畴特定言语等，并积极为生物信息学和量化金融等多个范畴开发新的 Codon 扩展。
链接：
mp.weixin.qq.com/s/p29go0yNM…
6. xNN：支付宝端侧深度学习结构
2017 年是支付宝第一次引入 AR 实景扫福，通过扫描任意“福”字协助我们去集搜集福卡。其时的福字辨认模型挑选服务端服务布置的技能计划，为了在活动期间辨认福字，需要调用很多的服务端布置资源来布置辨认模型；另一方面，DL 在云端则意味着数据必须上传。即使不考虑核算压力，从网络延时、流量、隐私维护等角度，也给用户体验带来种种约束。因此，对适当多的使用来说，DL 模型前移到移动端布置能够看作是一种刚需。
链接：
mp.weixin.qq.com/s/ca4NvwJ9X…
7. OneFlow源码解析：主动微分机制
深度学习结构一般通过主动微分（autograd）机制核算梯度并反向传达。本文测验通过一个简略的比如，浅显地观察一下OneFlow的autograd的完成机制。
链接：
mp.weixin.qq.com/s/EmDuuCXHe…
8. CUDA笔记（一）：解析OneFlow Element-Wise算子完成
Elemet-Wise算子指的是针对输入Tensor进行逐元素操作，比如ReLU便是针对输入Tensor的每个值进行判别是否大于0，大于0的话输出便是输入不然便是0。
链接：
mp.weixin.qq.com/s/_pj-fa-SJ…
9. Meta千亿参数大模型OPT-IML「升级版」来了，完好模型和代码公布
本年五月，MetaAI官宣发布了根据1750亿参数的超大模型OPT-175B，还对一切社区免费开放。12月22日，该模型的更新版别OPT-IML（Open Pre-trained Transformer）正式上线，Meta称其「对2000个言语使命进行了微调，包括1750 亿个参数」，还将为非商业研讨用处免费开放。
链接：
mp.weixin.qq.com/s/LEcXYLjMx…
10. 一块RTX 3090加快练习YOLOv5s，时刻减少11个小时，速度提高20%
凭仗对YOLOv5的性能分析以及几个简略的优化，OneFlow团队将单RTX 3090 FP32 YOLOv5s的练习速度提高了近20%。对于需要迭代300个Epoch的COCO数据集来说，One-YOLOv5比较Ultralytics/YOLOv5缩短了11.35个小时的练习时刻。本文将共享一切优化技能，假如你是一名PyTorch和OneFlow的运用者，特别日常和检测模型打交道但资源相对受限，那么本文的优化办法将对你有所协助。
链接：
mp.weixin.qq.com/s/LjbYGkjXg…
11. YOLOv5全面解析教程①：网络结构逐行代码解读
本教程也同样适用于 Ultralytics/YOLOv5，因为 One-YOLOv5 仅仅是换了一个运行时后端罢了，核算逻辑和代码比较 Ultralytics/YOLOv5 没有做任何改变，欢迎 star 。
链接：
mp.weixin.qq.com/s/qfZIKgBdH…
12. Stable Diffusion 2.0 比较 1.5 是倒退吗？Prompt 实验给你真相
SD 2.0 在 Reddit 上招来群嘲，人们抱怨，SD 旧版别的 prompt，在 2.0 下不仅不再管用，乃至作用明显有倒退，生物体结构歪曲紊乱，质感古怪。拿来跟讨巧又低门槛的 Midjourney v4 一比较，简直是场噩梦。
作者对 SD2 的第一印象也跟社区差不多，不小的挫折和绝望。曩昔珍藏的prompt 跑完能看的不多。但抛弃旧思路，通过几组的 prompt 实验后，他又决心大振，发现了 Stable Diffusion 2.0 的很多亮点和优势。
链接：
mp.weixin.qq.com/s/oCzq8zwDn…
13. OneFormer：一个Transformer统治通用图画切割
论文提出了OneFormer，这是第一个根据transformer的多使命通用图画切割结构，该结构只需要运用单个通用架构、单个模型和单个数据集进行一次练习，就能够在语义、实例和全景切割使命上胜过现有结构，虽然后者需要运用屡次资源在每个使命上单独练习。
链接：
mp.weixin.qq.com/s/X1LwOipmq…
14. Vision Transformer这两年
在NLP范畴获得巨大成功后，Transformer架构在核算机视觉方面的作用日渐凸显，成为越来越普遍的CV工具。自2020年10月Vision Transformer模型推出以来，人们开端高度关注Transformer模型在核算机视觉上的使用。
恰逢Vision Transformer推出两周年之际，借此机会我们对其稍作介绍，并讨论这两年来发展出的多种Vision Transformer模型变体以及Transformer在核算机视觉使用方面面临的各种挑战。
链接：
mp.weixin.qq.com/s/GW3bbdVMY…
欢迎 Star、试用 OneFlow 最新版别：
github.com/Oneflow-Inc…
