新智元报导
编辑：Aeneas
【新智元导读】震动，鹦鹉已经学会给自己的小伙伴打电话了！可别再说大言语模型是随机鹦鹉了。
大言语模型是随机鹦鹉？不，它们还差得远。
美国东北大学的研讨人员发现，鹦鹉们牵挂自己的朋友时，会自动给朋友打视频。
LeCun转发了这篇文章，谈论道：「称LLM为随机鹦鹉，真是对鹦鹉的侮辱。」
「随机鹦鹉」这个梗，出自华盛顿大学言语学家Emily M. Bender等人在21年宣布的一篇论文《随机鹦鹉的风险：言语模型是否太大了？》。
随后，人们时常用这个梗来挖苦ChatGPT等大言语模型并不了解实在国际，只是像鹦鹉相同随机发生看起来合理的字句。
如今，连鹦鹉都会隔着视频结交了，与这种高档的了解力比较，LLM真是弱爆了。
鹦鹉想朋友的时分，会打电话
那么，让LeCun感慨LLM弱爆了的鹦鹉们，详细做了什么呢？
咱们来看看东北大学学者联合MIT、Glasgow大学，打开的这项研讨。
他们发现，当一只鹦鹉牵挂自己的鹦鹉朋友时，会给它打视频电话，这让它感到很幸福。
研讨者们向一群不同物种的鹦鹉和照料它们的人，展示了如何用平板电脑和手机相互打视频电话。
他们想知道，假如有挑选，鹦鹉们会相互打电话吗？
答案是，它们会。
这些鹦鹉只要想，就会随时call自己的小伙伴，并且它们很了解，视频对面的，就是自己真实的鹦鹉同伴。
一位照料鹦鹉的人说，这只鹦鹉经过视频从自己的朋友那里学会了许多技术，比方觅食、新的声响，甚至学会了飞。
用他的话说，「它只要一通话就神采奕奕，仿佛活了过来。」
一只叫Ellie的凤头鹦鹉，和一只叫Cookie的非洲灰鹦鹉成为了朋友。「都一年多了，它们还会常常谈天。」
研讨者发现，鹦鹉们打电话时宣布的声响，跟它们在野外时互相交流的办法很像。比方它们会说「我在这里！」
这种发现其实并不稀奇，研讨者们早就发现，凤头鹦鹉和非洲灰鹦鹉都已经体现出了与小学生相当的认知才干。它们能够经过视觉，了解屏幕中的动作。
而人气最高、最受欢迎的鹦鹉，就是最常给小伙伴打电话的鹦鹉。
没错，就是在鹦鹉中，也有社牛。
而鹦鹉们的互动形式，跟人类社会化的互动很像。
风趣的是，鹦鹉们当然很很喜欢打电话，但人类参加者也在这个进程中发挥了很大效果。
某些鹦鹉十分喜欢从人类那里得到额定的关注，还有些鹦鹉，似乎对屏幕另一侧的人类发生了眷恋。
有18只鹦鹉参加了这项实验。它们的照料者会教它们，假如想打电话，就摇铃铛。
假如哪只鹦鹉摇铃了，照料者就会在平板电脑给它们展示出其他鹦鹉的照片，让它们挑选想要call谁。
在一个时长三小时的视频会议期间，鹦鹉们会跟互相说话，还会用喙轻敲屏幕。
假如哪只鹦鹉出现了恐惧或许攻击性的迹象，人类照料者就会让通话完毕。
18只鹦鹉中，15只坚持到了研讨的最终，3只很早就退出了。
这个进程也并不像咱们想的那么容易。
鹦鹉们关于挑选哪些鸟当自己的朋友，可谓十分挑剔。
假如没调停好这场互动，有的鹦鹉会很惧怕，有的则会暴怒，这会形成人类的财产损失——一些体型较大的鹦鹉，足以用喙将iPad撕成碎片。
不过总的来说，研讨结果表明，视频通话显著改善了鹦鹉们的生活幸福感。
因为身体原因，许多鹦鹉无法接近其他鸟类。而视频通话弥补了它们的缺憾。
两只体弱多病的晚年雄性金刚鹦鹉成功配对了——此前，它们在一生中几乎从没见过自己的同类。
两只鹦鹉结下了深沉的友情，隔着屏幕，它们会一起热心地唱歌、跳舞。
假如哪一只移出了屏幕，另一只会开始大喊「嘿！你出框了！快回来！」
研讨者Hirskyj-Douglas说：「这确实说明了这些鸟类的认知才干和自我表达的才干有多么复杂，多么强壮。」
网友锐评：当然了
而关于LLM和鹦鹉的差距，LeCun在谈论区给出了更为详实的解释。
一只鹦鹉的大脑有20亿个神经元，4×10^12个突触。一只鹦鹉的基因组大约有10亿个DNA碱基对或250MB。只要一小部分编码大脑。而大脑不适合基因组。一个大言语模型为350GB。
关于LeCun的说法，众网友纷纷表示赞同。
这位网友表示，LLM当然跟鹦鹉没法比了。与数十亿年的进化比较，LLM算什么？
「AI尽管经过了司法考试，但让它发展出像鹦鹉相同的智能，仍然是遥遥无期。」
「为了模仿这些鹦鹉的行为，咱们在LLM和其他AI系统方面，都还有很长的路要走。」
「但咱们是否需求从头发明存在主义的配对动机和社会蜂群行为？这些是生物所需求的生物学特性，而不是系统所需求的。」
「鹦鹉是鸟类中的智慧担当。它们能够交流，但它们并没有乔姆斯基意义上的言语，不过它们能够了解彭罗斯意义上的言语。」
「山公和类人猿也没有言语，或许说它们或许有，但它们很好地躲藏了这一点。」
「LLM让咱们发现，在言语禁锢下的人类，实际上就是随机鹦鹉。而实际上，鹦鹉为互相供给了真实的参考实践。」
有网友指路发明「随机鹦鹉」这个说法的Emily Bender的播客。在这段视频中，Emily解释了为什么咱们希望ChatGPT的文本中存在意义。
为什么LLM不了解自己在说什么
ChatGPT之类的大言语模型，是否能了解自己在说什么？是否能像人类相同了解单词？
有心理学家和认知科学家对此打开了调查。
此前人们就发现，假如问GPT-3，要弄平皱巴巴的裙子，你会选热水瓶仍是发夹？它选了发夹。
假如在快餐店作业时需求包住头发，用三明治包装纸仍是汉堡包？它选了汉堡包。
假如需求给炉灶扇风，是选石头仍是地图？它选了石头。
一名认知科学博士最近用这三个场景测验了GPT-3，它悉数选错了。
为什么它会做出这么蠢的挑选？因为LLM并不像人类那样了解言语。
一名心理学专家在20多年前就提出了上述场景，来测验其时言语模型的了解才干。
从一万亿个例子中，GPT-3留意到了一个单词后会更或许出现哪些其他单词。
言语序列中强壮的计算规律性，让GPT-3似乎掌握了言语。因此，ChatGPT能生成合理的句子、散文、诗篇和计算机代码。
可是，GPT-3彻底不了解，这些词对人类究竟意味着什么。
人类是跟着身体进化而来的生物实体，需求在物理和社会国际中运作以完成任务。
而言语，是协助人们做到这一点的工具。
而GPT-3和人类的区别是，它并不需求在现实国际中做任何事情。
单词或句子的意义与人体密切相关，包含人们行动、感知和发生心情的才干。
人类的认知是经过详细化来增强的。比方，咱们对「三明治包装纸」的了解包含它的外观、手感、分量，以及咱们会如何使用它。
所有这些用途的出现，都是因为人体的本性和需求：人们有能够折纸的手，有一头与三明治包装纸差不多大的头发，以及人类需求被雇用，因此需求恪守包住头发的规则。
而这些信息，从未被LLM捕获。
GPT-3、GPT-4、Bard、Chinchilla和LLaMA等LLM都没有身体，因此它们无法自行确定哪些物体是可折叠的，或许用心理学家J.J.吉布森的说法——affordances 。
因为人有了手和臂膀，才干够用地图煽风点火，用热水瓶来铺开皱纹。
但GPT-3只要在互联网上的文字流中遇到类似东西时，才干假造它们。
大言语模型会像人类那样了解言语吗？除非它长出人类的身体和感官，有着人类的意图的生活办法。
研讨者继续向GPT-4询问了这三个问题，它答对了。
因为GPT-4没有输出它分配单词的概率，因此他们无法对GPT-4进行原始剖析。他们猜测，这或许是因为GPT-4从以前的输入中学到了什么，或许它的尺度和视觉输入增加了。
GPT-4接受了图像和文本的练习，因此能够学习单词和像素之间的计算联系。
当研讨者发现，你总能构建更刁钻的问题，让GPT-4也露怯。
比方问它：底部被切断的杯子和底部被切断的灯泡，哪个更适合盛水？它会选前者。
一个能够访问图像的模型，就像一个从电视中学习言语和国际的孩子。可是和人类相同，最关键的机会是，与国际互动。
最近的许多研讨就采用了这种办法，研讨者们练习LLM生成物理模仿，与物理环境交互，甚至生成机器人。
具身言语了解或许还有很长的路要走，但这些多感官互动，是实现这一目标的关键。
但至少在现在，ChatGPT这类大言语模型既听不懂自己说的话，有没有感觉。
参考资料：
twitter.com/ylecun/stat…
news.northeastern.edu/2023/04/21/…
the-decoder.com/why-chatgpt…
