原文链接：zhuanlan.zhihu.com/p/649274642
吴恩达博士在本文中评论了大型言语模型（LLMs）是否能了解国际的问题。
他指出，现在还没有得到广泛认可的科学测验可以证明一个系统是否能真实了解，这使得“了解”问题成为了哲学问题。然而，对Othello-GPT的研讨表明，LLMs已经建立了满足复杂的国际模型，它们的确了解这个国际。尽管哲学很重要，但吴恩达更乐意把时刻花在编程上。
亲爱的朋友们，
大型言语模型 (LLMs) 能了解国际吗？作为一名科学家和工程师，我会防止问询人工智能系统是否“了解”某件事情。对于一个系统是否能真实了解——而不是看起来了解——现在还没有得到广泛认可的科学测验，就像我在此前一封来信中评论的，现在对于“意识”或“感知”也没有这样的测验。这使得“了解”问题成为了哲学问题，而非科学问题。这一警示的出现让我信任LLMs已经建立了满足复杂的国际模型，我有把握说，它们在某种程度上的确了解这个国际。
对我来说，对Othello-GPT的研讨是一个令人信服的证明——LLMs建立了国际模型。也就是说，它们的确了解国际的真实面貌，而不是盲目地鹦鹉学舌。Kenneth Li和他的搭档们练习了一种GPT言语模型的变体，该模型是根据Othello的移动序列运转的。Othello是一种棋盘游戏，两名玩家轮流在8×8的网格上放置棋子。例如，一个移动序列或许是d3 c5 f6 f5 e6 e3…，其中每对字符（如d3）对应在棋盘的某个方位放置棋子。
在练习过程中，神经网络只会看到一系列的移动，但这些动作是在正方形、8×8棋盘上的移动的，或游戏规则是什么并未明确告知。在对这类棋的大量数据集进行练习后，神经网络在猜测下一步棋或许怎么走方面做得不错。
要害问题是：这个网络是通过建立一个国际模型来做出这些猜测的吗？也就是说，它是否发现了一个8×8的棋盘，以及一套特定的棋子放置规则，是这些规则支撑着这些移动吗？开发人员们令人信服地给出了证明。具体来说，给定一个移动序列，网络的躲藏单元激活似乎捕捉到当时棋盘方位的表达以及可用的合法走法。这表明，该网络的确建立了一个国际模型，而不是企图仿照其练习数据的统计数据的“随机鹦鹉”。
尽管这项研讨使用了Othello，但我毫不怀疑在人类文本上练习的LLMs也建立了国际模型。LLMs的许多“突发”行为——例如，一个通过微调以遵从英语指令的模型也可以遵从用其他言语编写的指令——似乎很难解说，除非咱们将其视为“了解国际”。
长期以来，人工智能一直在与“了解”这个概念作斗争。哲学家John Searle在1980年发表了“中文房间论”。他提出了一个思想试验：幻想一下，一个说英语的人单独呆在一个房间里，手里拿着一本操作符号的规则手册，他能把从门缝里塞进来的纸上写的中文翻译成英文（尽管他自己并不明白中文）。Searle认为电脑就像这个人。它看起来懂中文，但其实不明白。
一个被当做系统回复的反驳观点是，即使“中文房间”场景中没有一个部分能了解中文，但这个人、规则手册、纸张等整个系统都了解中文。同样，我的大脑中没有一个神经元能了解机器学习，但我大脑中包括一切神经元的系统就有或许了解机器学习。在我最近与Geoff Hinton的谈话中，LLMs了解国际的概念是咱们双方都同意的一点。
尽管哲学很重要，但我很少撰写关于它的文章，因为类似的争辩或许会无休止地爆发，我宁愿把时刻花在编程上。我不清楚今世哲学家对LLMs了解国际的看法，但我坚信咱们生活在一个充满奇迹的年代！ 好了，咱们还是回归编程吧。
请不断学习， 吴恩达
