机器之心报导
编辑：杜伟、陈萍
谷歌内部文件又走漏了，这次是谷歌新一代大模型 PaLM 2 的练习细节：练习数据量是前代的近 5 倍、参数量是前代的三分之二左右。
上星期四，在 2023 谷歌 I/O 大会上，谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2，并正式发布预览版别，改进了数学、代码、推理、多语言翻译和自然语言生成才能。
PaLM 2 模型供给了不同尺寸规划的四个版别，从小到大依次为 Gecko、Otter、Bison 和 Unicorn，更易于针对各种用例进行布置。其中轻量级的 Gecko 模型能够在移动设备上运转，速度非常快，不联网也能在设备上运转出色的交互式应用程序。
不过会上，谷歌并没有给出有关 PaLM 2 的详细技术细节，只说明了它是构建在谷歌最新 JAX 和 TPU v4 之上。
昨日，据外媒 CNBC 看到的内部文件称，PaLM 2 是在 3.6 万亿个 token 上练习。作为比照，上代 PaLM 接受了 7800 亿 token 的练习。
此外，谷歌之前表明 PaLM 2 比以前的 LLM 规划更小，这意味着在完成更复杂使命的一起变得愈加高效。这一点也在内部文件中得到了验证，PaLM 2 的练习参数量为 3400 亿，远小于 PaLM 的 5400 亿。
PaLM 2 的练习 token 和参数量与其他家的 LLM 相比怎么呢？作为比照，Meta 在 2 月发布的 LLaMA 接受了 1.4 万亿 token 的练习。OpenAI 1750 亿参数的 GPT-3 是在 3000 亿 token 上练习的。
尽管谷歌一直巴望展示其 AI 技术的强壮才能以及怎么嵌入到搜索、电子邮件、文件处理和电子表格中，但也不肯发布其练习数据的大小或其他细节。其实这样做的不只谷歌一家，OpenAI 也缄口不言其最新多模态大模型 GPT-4 的细节。他们都表明不发表细节是源于事务的竞争属性。
不过，跟着 AI 军备竞赛的持续升温，研究界越来越要求进步透明度。并且在前段时间走漏的一份谷歌内部文件中，谷歌内部研究人员表达了这样一种观点：尽管外表看起来 OpenAI 和谷歌在 AI 大模型上你追我赶，但真正的赢家未必会从这两家中发生，由于第三方力气「开源」正在悄然兴起。
目前，这份内部文件的真实性尚未得到验证，谷歌也并未对相关内容置评。
网友评论
在官宣 PaLM 2 之初，就有网友依据 Chinchilla 定律猜测其参数量，ta 猜测 PaLM 2 模型宗族的参数成果为 80B / 90B / 100B 不等，和这次爆料的 340B 还是距离很大的。
还有人对 PaLM 2 的练习本钱进行了一波猜测，依据历代大模型的开展来看，这位网友表明，打造 PaLM 2 需求耗资 1 亿美元。
PaLM 2 参数都泄密了，能够试着估测 Bard 了，这位网友表明：
跟着 PaLM 2 token 数的走漏，网友不禁疑问，在 AGI 到来之前，多少 token 才能迎来一次大转折？
参阅链接：www.cnbc.com/2023/05/16/…
