曩昔 6 个月，ChatGPT 的爆火，彻底让 Meta 坐不住了。
从 2 月开端开源大模型系列 LLaMA 的发布，到 Llama 2 晋级、再到编码模型 Code Llama，Meta 可谓是赌上全部去 ALL IN AI。
在开源社区，Llama 系列模型的免费研讨和商用，直接点着了平替模型裂变的火种。
可是，Meta 在风景的一起，AI 团队正面对着离任潮。
The Information 独家报道，因内部算力之争，LLaMA 和 OPT 项目的团队成员，大半现已辞职。
乃至，Meta 直接弃掉他们正研制能与 PaLM 匹敌的模型，将 Meta AI 的两个实验室团队重组，以专注研制 Llama 2。
Meta 大部分研讨人员的离任，恰恰暴露了，算力短缺是布局生成式 AI 的核心难题。
LLaMA 论文 14 位作者，一半离任
在外界看来，科技巨子具有比大大都公司更多的核算资源。一些公司包含 Meta 在内，在招聘 AI 研讨人员时，一致着重自己是「GPU RICH」。
但事实上，自己心知肚明，Meta 的核算资源供给方面也存在约束。
由此，算力纷争便在内部团队开启，让许多人弃 Meta 而去。
详细来讲，本年 2 月发布的初代 LLaMA 模型中的 14 位作者，现已超过一半的人全部离任。
有的转向 AI 草创公司，有的参加了科技巨子。
论文地址：arxiv.org/pdf/2302.13…
脱离 Meta 的研讨科学家和工程师包含原 LLaMA 论文的作者之一 Timothe Lacroix、Guillaume Lample 和 Marie-Anne Lachaux。
他们现在在法国草创公司 Mistral AI 工作，该公司由 Lacroix 和 Lample 于 6 月一起创办。
还有其间的一位作者——Meta AI 的研讨总监 Armand Joulin 现已在 5 月脱离了 Meta，目前已参加苹果。
Meta 人工智能研讨实验室「根底 AI 研讨」的担任人 Joelle Pineau 在接受采访时表明：
留住和吸引优异人才可能是我花费时刻最多的地方，由于没有优异的研讨人员，我什么都做不了。
Meta 正在面对的离任潮，恰恰凸显了大型科技公司在应对对人工智能人才需求激增的应战。
大模型浪潮当前，各大科技公司只怕落后，急于将 AI 接入自家产品和服务。
Riviera Partners 的高管 Kyle Langworthy 称，「求贤若渴」的公司们，都排着队想挖角 Meta 的人工智能研讨人员。
2 月份的时分，继 LLaMA 的发布点着社区热情后，小扎曾连夜对外官宣了公司的大动作：建立顶级产品团队，专注 AIGC。
简言之，小扎将 Meta 未来的核心重点放在，生成式人工智能，以企图追逐谷歌、微软、OpenAI 等竞赛对手。
而曾经在 2021 年 All In 的「元世界」，也被放在了次要的方位。
紧接着，Meta 时不时地发布并开源了在人工智能范畴的最新研讨，包含通用视觉模型 SAM「分割全部」、多模态 AI 模型 ImageBind、Llama2、Code Llama 等等。
这些研讨一经发布，都在开源社区引起了很大的反响，得到一致好评。
而现在，随着有经验的研讨人员流失，Meta 在追逐竞赛对手的路上多了一重阻碍。
那么，详细是怎么回事，让这些高档研讨人员愤而离去？
LLaMA 和 OPT 的算力之争
2013 年，Yann LeCun 入职 Meta 后，担任 AI 研讨主管时建立了人工智能研讨实验室 Meta AI（原 FAIR）。
除了在加利福尼亚州门洛帕克和纽约建立首要实验室（LeCun 的所在地），Meta AI 还在蒙特利尔（Pineau 的所在地）、巴黎、伦敦和西雅图设有分部。
Meta AI 实验室的建立，首要致力于 AI 的研讨，将人工智能应用在翻译、MRI 扫描等各种场景。
可是，ChatGPT 横空出世之后，公司的高管们对 AI 更深层次融入产品的要求，变得更加急迫。
其实，在 ChatGPT 发布之前，Meta 也一向在开发自己的 LLM。
2022 年 5 月，Meta AI 的一个北美团队对外发布，并开源了大模型 OPT-175B。
Meta 声称，这个模型的能耗要比 GPT-3 低，虽然这两个模型在练习期间学习的内容，在数量上是一样的。
几个月后，该团队开端着手开发第二个更大的模型，旨在与谷歌的 PaLM 竞赛。
与此一起，另一个坐落巴黎的 Meta AI 团队，现已开端着手开发一个单独的大型言语模型，也便是 LLaMA。
知情人士表明，这个模型比 OPT 要小。研讨团队以为较小的模型在推理时会高效。
随之问题就来了，别离来自北美和巴黎两个实验室的团队，开启了获取算力资源之争，进而加剧了内部团队的纷争。
尤其是，LLaMA 团队感觉自己被忽视了，自己的模型小，但获得的核算资源比北美的 OPT 团队少的多。
「根底 AI 研讨」的担任人 Joelle Pineau 表明，
关于在 Meta 怎么分配核算资源的决议计划，是由来自业务不同部分的领导人组成的小组，大致每月做出一次。
终究分配多少，分配给谁，取决于组织优先事项，以及项目距离发布还有多远来决议。
如果 Meta AI 的员工就分配产生争议，就会提交到上级，也便是 Pineau 这一层去处理。
在采访中，Pineau 承认在 LLaMA 和 OPT 团队之间在算力分配上有些严重，并弥补道，「咱们企图找到一条路，听取每个人的发声，即便无法去满足每个人的需求。」
对某些研讨人员来说，这感觉像是一场竞赛。
Meta AI 的一些高管也在质疑，为什么两个团队都做着相似的项目，但又相互竞赛有限的资源。
2 月巨变
两个团队之间的严重关系，到本年 2 月达到了高潮。
恰在这个月，为了追逐竞赛对手，Meta AI 初次将 LLaMA 作为开源模型发布，授权用于研讨目的。
其实，在发布的前一周，Meta AI 的联合主管兼巴黎分部担任人 Antoine Bordes 就脱离了 Meta，而对外的离任原因是⼯作时刻与加州⼀样让自己筋疲⼒尽。
现在，Bordes 现已参加了人工智能公司 Helsing。
知情人士表明，他的离任进一步，让 LLaMA 团队与北美的高管隔脱离来。别的，Pineau 也承认了 Bordes 的离任为团队「带来了一些不确定性」。
这不仅仅是 LLaMA 团队研讨士气受挫的问题，与此一起，OPT 团队在曩昔几个月里，一向也在面对人员流失的问题。
据称，OPT 团队正在研制的更大型的模型，直接被 Meta 放弃。也不难理解，OPT 的人员流失，和这个决议有着直接的关系。
根据研讨作者 Linkedin 个人资料，19 位 OPT 论文的作者中，也有一半人已离任 Meta。
论文地址：arxiv.org/pdf/2205.01…
「根底 AI 研讨」的担任人 Pineau 无法地表明，「当全部团队都想在这个时分晋级模型，那时你要么选择其间一个，要么就让他们协作。」
团队重组，定位不清
在这全部产生的一起，Meta AI 也被公司的频频地变动搞得焦头烂额。
自从去年 11 月开端，小扎进行了数次全公司规模的裁人。其间，Meta AI 也没能幸免。
本年 2 月，Meta AI 领导人决议将相互竞赛 LLaMA 和 OPT 团队的一些成员聚集起来，正式建立「生成式 AI」团队，（由前苹果高管 Ahmad Al-Dahle 担任），一起也从 Meta AI 抽调了大量人员。
其实，咱们在 Llama 2 论文中，能够看到不少 LLaMA 和 OPT 作者的身影。
比方 OPT 的团队中，Moya Chen、Todor Mihaylov、Punit Singh Koura 参加「生成式 AI」团队。
初代 LLaMA 团队中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez 参加「生成式 AI」团队。
有趣的是，在 Llama 2 的致谢中，说到的 4 位最早发起这项研讨的团队，其间三位现已离任，目前仅有 Edouard Grave 还在。
虽然备受赞誉的开源模型 LLaMA 取得了不小的成功，但随着 Meta 对人工智能研讨态度的不断变化，研讨人员之间的严重关系仍在酝酿。
传统上来讲，Meta AI 具有一种由研讨人员主导的自下而上的文明，然后使团队能够专注于 AI 范畴，并取得突破性的进展。
但随着小扎越来越倾向于将 AI 融入 Meta 的应用程序之中，Meta AI 的关注点也随之缩小——解散了那些不以产品为导向的研讨，比方蛋白质折叠。
与此一起，新的项目也在生成式 AI 团队和 Meta AI 之间「重复横跳」。
比方，Meta 在 7 月发布的 Llama 2，以及在 8 月发布的专攻代码生成的 Code Llama，便是别离由两个团队担任的。
对此，Pineau 表明，「这个范畴发展得实在是太快了，咱们现在还在探索，哪个项目应该由 Meta AI 来担任？哪个项目又该由生成式 AI 团队来担任？」
台前，开源模型光鲜靓丽，而幕后，AI 研讨人员离任潮涌、算力纷争、团队重组，为 Meta 倾力 AI 赶超对手带来了许多不确定性要素。
参考资料：
www.theinformation.com/articles/in…
