【编者按】Google DeepMind 自上周官宣建立以来倍受关注，两个 AI 范畴的世界级研讨团队，在强强联合后会为其时火热的大模型赛道带来怎样的变化？有人等待，也有人质疑。
4 月 26 日，前 Google Brain 机器学习（ML）工程师 Brian Kihoon Lee 发文称，“这次协作的两边都输了”，并且预言将在接下来的几个月内看到更多的项目被撤销、兼并，以及裁员。
Lee 在博客长文中剖析了 Google Brain 存在的原因，包含威望、曩昔的打破性发现、坚持抢先地位等；一起，他也犀利地表达了自己认为 Google Brain 存在的问题，以及对 Google Brain 和 DeepMind 兼并的不乐观看法；最终，Lee 对 Google 未来的路该怎么走，是否还会赞助开放式研讨表达了不知道与等待。
这位前谷歌 ML 工程师开端在上一年年末写下了这篇文章，并在被辞退后作为独立的个别于近来将其宣布。Lee 在文前写道，“强制性免责声明：文章内容仅代表我的个人观点，与我的其时雇主无关”。
图｜前谷歌高级研讨工程师 Brian Kihoon Lee
学术头条在不改变原文大意的状况下，做了简略的修改。原文如下：
这篇文章开端是在 2022 年 12 月写的，其时我正在考虑我作业的未来。我放置了这篇文章，因为我不确定在受雇于 Google Brain 时宣布这样的文章是否合适。
但是，他们在一月份辞退了我，这使我的决议变得愈加简单。我拿到了我的赔偿金，上周，他们和 DeepMind 兼并为一个新部门，撤销了 Google Brain，取而代之的是 “Google DeepMind”。作为一个具有共同视角和自在来共享它的人，我期望我能阐明这个团队存在的问题。我将列出 Google Brain 存在的许多原因，并评价它们在当今经济条件下的持续有效性。
工业研讨实验室
我想首要准确描绘一下需求解说的悖论。
学术界的研讨者一直面临着在学术界的研讨自在与在工业界的高薪的两难挑选。作为一个 ML 专家，Google 会付给你丰盛的酬劳来做 ML 研讨，这并不令人惊讶。换来的结果通常是，你不得不从事推荐系统、广告优化、查找排名等作业，而不是纯粹的研讨。
说白了，Google Brain 具有许多研讨人员和项目，其中许多是直接或间接盈余的。例如，许多研讨人员专心于改善优化器、架构查找和超参数查找。这种研讨是直接盈余的，因为它降低了计算成本，以达到必定的性能水平。
需求解说的是，Google Brain（与 DeepMind、OpenAI、FAIR 和其他公司一同）赞助数百名 ML 研讨人员从事纯研讨，似乎仅仅为了研讨而研讨，一起能比在学术界拿到更多的酬劳。例如，我的团队致力于嗅觉的机器学习。Google 在做什么，赞助关于嗅觉的研讨？有什么好处呢？这是我想答复的问题。
威望
大多数学者认为，Brain 团队正在争夺威望：“Brain 正在与其他工业研讨实验室竞赛，以延聘最好的研讨人员，这样他们就能够成为最负盛名的研讨小组，这反过来又会协助他们延聘最好的研讨人员”。毕竟，这便是美国学术界的运作方法：资金、学生/博士后和首席研讨员（PI）三位一体。原则上，资金流向最有才调的 PI 和学生/博士后；学生/博士后去最有才调的 PI 和有资金的当地；PI 会去他们能找到有才调的学生/博士后和资金的当地。
大学被直接鼓励去最大极限地提高威望，因为他们从一切研讨经费中的抽成（大得惊人）。职业研讨实验室没有相同的鼓励结构。与其说坚持一个有威望的实验室能够获利，不如说是为了防止顶级研讨人员叛逃而付出了更多价值。Uber 人工智能实验室似乎彻底是为了威望（自我？）而存在的，在 Dara Khosrowshahi 接替 Uber 创始人 Travis Kalanick 后被正式撤销。
威望带来两个首要影响：在顾客范畴建立活跃的品牌形象，以及在纯研讨和应用 ML 中更简单招聘。例如，几年前我在求职期间乃至没有考虑过申请 Apple，因为他们没有 ML 的相关作业！或许 Apple 没有招聘 ML 专家的原因是他们不需求 ML 专家——这是一个契合 Apple 生长理念的明智决议。但假如你的确需求雇佣几千名 ML 工程师，那么赞助少量顶级 ML 研讨人员作为一种威望游戏是有意义的。我相信，我的团队之所以存在，在必定程度上是为了一种威望。
将以威望为导向的研讨作为一种招聘战略，在今日依然有意义，但考虑到该职业正在集体削减招聘预算，威望支出也必然会削减。
MBA文明和“下金蛋的鹅”
Google 出资纯研讨的另一个明显原因是，它已经取得并将持续取得打破性发现。
作为一个根本的“奉献表”，Brain 团队为 Google 奉献了 TensorFlow、TPU、显著改善的 Google Translate、JAX 和 Transformer。这些最初仅仅作为纯研讨的项目，在今日产生了巨额的赢利。假如我把任何一个条件放宽，这个列表将会更长，比如用于医学成像的 ML 项目和 AutoML 等。
Brain 团队为所欲为、自下而上、以研讨人员为中心的文明能够说是产生这些打破的原因。由 Jeff Dean 来担任研讨，正是因为他代表了这些理念。
相反，假如由追求短期赢利最大化和功率提升等目标而疏忽长时间出资和立异的 MBA 们来操控，MBA 文明就会慢慢渗透，损坏公司的立异能力和长时间价值，摧毁那些 “下金蛋的鹅”。因此，最好仍是让研讨人员自在发挥，比及他们取得效果后，再让管理人员介入进来。
跟着时间的推移，两种趋势使 MBA 们取得更大的主动权。首要是经济上的原因：跟着经济趋紧以及来自 OpenAI/VC 赞助的 AI 草创公司的竞赛加剧，Google 认为需求对其研讨出资愈加担任任和有方向性。另一个趋势是人们对 ML 能力的熟悉程度添加。在 ML 的前期，没有人知道它能做什么，研讨人员有特许拟定研讨愿景。现在，思想领袖们随意地对 ML 如何以及在何处发挥作用宣布意见，而 MBA 们觉得这是专家意见的可接受 “代替品”。其结果是削减了研讨人员的自在，呈现了更多自上而下的领导。
说一个有趣的事，Google 研讨人员的晋升标准一度与外界对研讨重要性的认可有关。假如由高级研讨人员组成的 Google 宣传委员会乃至无法确定自己的研讨是否很重要，那 MBA 们还有什么机会呢？
在不久的将来，我估计研讨人员的晋升标准将转向交给的商业价值，而不是外界对研讨影响的认可度。
今日，我在 LLM 研讨者身上也看到了相似的状况，除了他们自己之外，没有人能够真正权威地宣布有关 LLMs 能力的看法。即便如此，现在每个 LLM 研讨者也都会感受到来自 MBA 们的压力，这在曩昔并不是这样的。
51%攻击
Google 赞助开放式研讨的另一个原因，是为了坚持其在 ML 范畴的抢先地位。
十多年来，Google 在大规模系统编程方面一直处于职业抢先地位。像 MapReduce、Spanner和 Zanzibar 这样的系统，解决了业界才刚刚开端意识到的问题，可行的对应代替计划，Hadoop、CockroachDB、AuthZed，则花了 5-10 年的时间才呈现。
当 Google 开源 TensorFlow 时，很明显，他们依然站在职业顶端。这种前期的成功表明，Google 将能够经过大方地赞助长时间研讨来坚持抢先于其竞赛对手的地位。
不幸的是，这种前期的抢先优势在短短几年内便失去了，PyTorch/Nvidia GPU 轻松超越了 TensorFlow/Google TPU。坦率地说，ML 曩昔是、现在依然是新生事物，没有明显的技能门槛。AI 公司持续取得令人瞠目结舌的资金，ML 研讨人员的数量在曩昔十年中增长了约 25%。在相对较短的 2 年内，我为了融入 Brain 团队，自学了满足多的 ML，其他许多人也是如此。没有公司，即使是 Google，能有满足的钱填满无底洞。
Google 在一个范畴取得前期抢先优势后，如 Transformers，也只需将该研讨优势转化为产品后才真正有价值。Brain 最近的人才流失在很大程度上是因为内部认为 Google 在进行开创性研讨而不是开发这些研讨背后的应用潜力。ChatGPT 给 Brain 团队带来了大问题。
假如 Google 始终不计划将研讨转化为产品，那内部押注于开放式研讨是否有意义？Google 对 Anthropic AI 的 4 亿美元出资看起来很糟糕：Google 高管正在限制他们对外部研讨小组的研讨赌注。
催化剂理论
Brain 团队的一个不同寻常之处在于它的自在出版方针——Brain 在顶级 ML 会议上宣布的文章常常超越一切高校。既然在开放式研讨中投入了大量资金，为什么要免费赠送呢？首要原因是：1）威望；2）研讨人员在辞职时能够带走这些常识；3）加速一个范畴的开展。
催化剂理论是，经过宣布与 Google 中心事务相关范畴的要害研讨，来协助 Google 更好地开展。例如，Google 一直对更好的 NLP 感兴趣，2014 年的 seq2seq 和 2017 年的 Transformers 等要点研讨的宣布推动了整个 NLP 范畴的开展。
Google 是少量几家一起具有上亿顾客又有计算能力的公司之一，能够将 ML 布置扩大到 10 亿用户，因而能够从该范畴的全体进步中受益。
在理想状况下，多花一些美元买一个更大的馅饼是有意义的，只需那些多出的馅饼能带来超越这些美元的价值。但现实是，理解竞赛对手的馅饼增长了多少也很重要。OpenAI 与微软的协作证明，催化剂理论在 Google 几乎肯定是被摒弃的。
延聘费
最好的防御是更好的进攻，但具有一批稳定的技能专家能够协助自身快速了解和应对该范畴的意外开展，这当然没有害处。局势好时，专家能够专心于原创性研讨，局势欠好时，专家会被被要求做一些防御性项目。这看起来很合理，虽然这样做的风险是届时无法确保专家们是否真的会留下来。为了防止这样的事情产生，他们也能够挑选将专家辞退。撇开讽刺不谈，Google 辞退我并没有错；事实上，我在 5 个月前就开端写这篇文章，这在其时是一个激烈的信号：我应该寻觅新的作业。
现在，状况不妙。我估计 Google 将呼吁其研讨人员集中精力研讨 LLM，首要是经过鼓励方法，假如不可就采用惩罚方法。
技能傲慢
Brain 团队的许多开放式研讨项目本质上都是跨学科的。如前所述，我的团队致力于嗅觉 ML，而 Brain 也在 ML 的医学成像、气候建模、神经元成像、DNA 变体调用、音乐和艺术、蛋白质注释以及我可能错失的更多方面取得了开创性发展。Brain 团队之外，也有许多成功事例，如 AlphaGo 和 AlphaFold。
毫无疑问，这些跨学科的尽力已经取得了丰硕的效果。但是，两种彼此抵消的趋势降低了 Google 持续赞助这些尽力的志愿。
首要是有关研讨人员的问题。
没有什么比物理学家第一次接触一个新范畴更烦人的了。另一方面，没有什么比范畴专家学习物理（本文为 ML）更超然（transcendental）了。因为博士项目的漫长时间线，前期大多数机器学习研讨人员都是自学成才，从其他范畴跨过过来的。这为优异的跨学科作业创造了条件。遗憾的是，大多数人错误地认为这是机器学习颠覆现有范畴的固有属性。其实不是这样的。
现在，绝大多数新聘任的 ML 研讨人员都是刚结业的博士，他们只从 ML 的视点研讨过问题。我反复看到，ML 博士学习化学比化学家学习机器学习要难得多。（这可能是幸存者误差；我遇到的仅有化学家是那些成功学习了 ML 的人，而我常常看到 ML 研讨人员在尝试学习化学，但都以失败告终。）无论如何，我估计之后的跨学科项目的质量和成功率会相应下降。即使 Google 高管不理解这种趋势的本质，他们也会注意到这一现象的产生。
第二个是，从商业视点来看，事实证明，外界学习 ML 比 Google 学习新的事务范畴要简单得多。Google Health 便是一个最突出的例子，但我也已经看到这种方式在其他范畴反复呈现。我置疑 DeepMind 的 Isomorphic 实验室能否走得更远。另一方面，像 Recursion Pharmaceuticals 和 Relay Therapeutics 这样由生物学和化学转向 ML 的公司都做得很好。跨学科 ML 打破的好处似乎流向了其他企业，并没有为 Google 的新事务线奠定坚实的根底。
Google DeepMind 建立
从哪里说起呢？我对此的想法很紊乱，为了快速发布这篇博客文章，我将以项目符号列表的方式呈现它们……
- Google 高管明显认为 DeepMind 品牌比 Brain 品牌更强壮，或许 Demis 拒绝签署兼并，除非保存 DeepMind 称号；
- 此次兼并可能是更大重组的前奏；
- 协作两边都输了。我估计在接下来的几个月里会看到许多项目撤销、项目兼并和人员重新分配，以及人员减员；
- 因为要进行的项目越来越少，我估计会看到许多中层管理人员被裁员或离职；
- 因为 DeepMind 自上而下的文明与 Brain 自下而上的文明彼此冲突，我估计会有许多动荡。动荡将使任何兼并功率收益降至零，乃至低于零。
前方的路
虽然 Brain 经过其对开放式 ML 研讨的前期赞助创造了巨大的价值，但 Google 越来越明显地意识到，它不知道如何捕捉这种价值。Google 当然没有责任赞助开放式研讨，但假如它不在出资，这对研讨人员和全世界来说，都是哀痛的一天。
在许多顾客和商业产品方面，Google 已经是一个后来者，似乎在 ML 研讨方面也是如此。我期望 Google 至少在取得第二名方面表现得不错。在机器学习范畴有许多的获胜者。
本文为编译文章，仅代表原作者个人观点。
