一、前语 – ChatGPT真的产生心智了吗？

来自斯坦福大学的最新研讨定论，一经发出就造成了学术圈的轰动，“本来以为是人类独有的心智理论（Theory of Mind，ToM），现已呈现在ChatGPT背面的AI模型上”。所谓心智理论，便是了解他人或自己心思状况的才能，包括同理心、情绪、目的等。这项研讨中，作者发现：davinci-002版别的GPT3现已能够处理70%的心智理论任务，相当于7岁儿童。

2023 年，面临铺天盖地的 AI 应用，咱们人类总算认识到，有一些东西被永久的改变了。但在这波 AI 热潮之中，只需一个应用是真实吓人的——ChatGPT。由于心智无法经过量化评判，但ChatGPT确实满足智能的界说，例如推理、计划、处理问题、笼统考虑、了解杂乱想法、快速学习。但ChatGPT实质上只做一件作业：续写。当咱们给出前N个词汇的时分，假如一个模型能够告知咱们第“N+1”个词汇大约率会是什么，咱们就以为模型掌握了言语的根本规则。

为什么光凭“续写”就能够产生智能？以下是摘自知乎的一段答复：

“为什么这么一个简略的接话茬才能让ChatGPT看起来能够处理各种各样的任务呢？由于咱们人类大部分的任务都是以言语为载体的。当咱们前面说了一些话，它把接下来的话接上，任务就完结了。ChatGPT作为一个大言语模型，目的便是“把话接上”，而把话接上这件作业能够在不知不觉中帮咱们完结各种任务。”，这也解说了为什么ChatGPT有时分瞎胡诌，他并没有撒谎，他不知道对错，他只是想把对话顺利进行下去。

假如真的像上述所说，那GPT似乎没有咱们幻想的神奇，看起来只是一个根据大数据和核算学的言语模型，经过它学习的海量文本猜想下一个概率最高的词。就像是有一个容量巨大的“数据库”，一切的答复都是从这个数据库里拿到的。

但奇怪的是，ChatGPT又能够答复他没有学习过的问题，最具代表性的是练习集中不或许存在的六位数加法，这明显无法经过核算学的办法来猜想下一个最高概率的数字是多少。

不仅如此，GPT还学习到了在对话中临时学习的才能。

看起来ChatGPT除了“续写”外，还真的产生了逻辑推理才能。这些核算之外的新才能是怎样呈现的？

怎样让机器了解言语，怎样让代码存储常识？这篇文章，只是为了答复一个问题：一段代码是怎样拥有心智的？

二、Attention is all you need – 注意力机制

查找一切有关ChatGPT的文章，发现有一个词的呈现频率特别高，Attention is all you need。ChatGPT的一切都树立在“注意力机制”之上，GPT的全称是Generative Pre-trained Transformer，而这个transformer便是一个由注意力机制构建的深度学习模型。其来历于2017年的一篇15页的论文，《Attention is all you need》[1]。再结合OpenAI关于GPT2和GPT3的两篇论文[2][3]，咱们能够拆开这个大言语模型，看看他在说话的时分终究产生了什么。

注意力机制的诞生来历于人脑的思想办法，例如在读这段话时，你的注意力会不断的从左往右一个字一个字的闪过，之后再把注意力放到完好的语句上，了解这些字词的联系，其中有些关键词还会投入更多的注意，这一切产生在电光火石之间。

而根据注意力机制的Transformer和GPT系列模型便是在模仿这一思想进程，经过让机器了解一句话中字词之间的联系和含义，完结下一个词的续写，然后再了解一遍，再续写一个词，终究写成一段话。要让程序模仿这件事并不容易。怎样让机器核算字符，怎样让代码存储常识，为什么将以上模型结构中的一个单元拆开后，全都是圆圈和线？

所以研讨AI的榜首步，是搞清楚上图中的一个圆圈终究能够干什么。

2.1 神经元 – 圆圈和线

1957年的一篇论文，《感知器：大脑中信息存储和组织的概率模型》[4]中也呈现了一堆圆圈和线，这便是今日各种AI模型的根本单元，咱们也叫它神经网络。一个世纪前，科学家就现已知道了人脑大约的运作办法，这些圆圈模仿的是神经元，而线便是把神经元衔接起来的突触，传递神经元之间的信号。



将三个神经元衔接在一起，就得到了一个开关，要么被激活输出1，要么不被激活输出0。开关能够表达是否，区别是非，标记同类，可是归根究竟都是一件作业，分类。过去几十年，许多个人类最聪明的脑筋所做的，便是经过各种办法把这些圆圈衔接起来，试图产生智能。

这个网站能够模仿更多的神经元割裂问题。能够看到一个神经元能处理的状况仍是太有限了，能分开明显是两块的数据，而内圈外圈的数据就分不开。但假如参加激活函数，再添加新的神经元，每一个新增的神经元都能够在边界上新增一两条折线，更多的折线就能够围得越来越像一个圆，终究完结这个分类。

分类能够处理许多详细问题，假如上图中的每个点的X轴和Y轴分别代表一只小狗的岁数和体重，那么只凭这两种数值就能够分出来这是两个不同种类的狗，每个点代表的信息越多，能处理的问题也就越杂乱。比方一张784个像素的照片，就能够用784个数字来表明分类，这些点就能分类图片。更多的线，更多的圆圈，实质上都是为了更好的分类。这便是今日最主流的AI练习计划，根据神经网络的深度学习。

学会了分类，某种程度上也就完结了创造。

这便是为什么有这么多业界学者认识到了深度学习的实质，其实是核算学，沿着圆圈和线的道路，他们终究会抵达结尾，成为人人都能够使用的东西。而假如拆开GPT系列模型，露出出来的也仍然只是这些圆圈和线。但分类和核算真的能模仿人的思想吗？ 在论说之前，先了解一下成语接龙的底层原理。

2.2 成语接龙

在2018年榜首代GPT的原始论文[5]中，咱们能够看到GPT系列的模型结构。回想上文中说到的注意力机制，这一层被叫做注意力编码层，它的方针便是模仿人的注意力，抽取出言语之间的含义，把12个这样的编码层叠在一起，文字从下面进去，出来的便是GPT猜想的下一个词。

比方输入how are you之后，模型会输出下一个单词doing，为什么它会输出doing？接下来咱们就得搞明白中间究竟产生了什么。

输入how are you后，这三个单词会被转化为3个1024维度的向量，接着每个向量都会加上一个位置信息，表明how是榜首个词，are是第二个词，以此类推之后它们会进入榜首个注意力编码层，核算后变成三个不相同的1024长的向量，再来到第二层、第三层，一向经过全部的24个注意力编码层的核算处理，仍然得到三个1024长的向量，对下一个词的续写成果就藏在终究一个向量里边。关键的核算就产生在这些注意力编码层，这一层里又能够分成两个结构，先算多头注意力，再算全衔接层。注意力层的任务是提取言语间的含义，而全链接层需求对这些含义做出呼应，输出存储好的常识。

咱们能够先用how做个比方，注意力层里有三个练习好的核心参数KQV，用于核算词语间的关联度，将它们与每个向量相乘后，就能得到how和are的关联度，再经过这种办法核算how和you， how和how的关联度，就能得到三个打分，分数越高意味着它们的关联越重要。之后再让三个分数和三个有效信息相乘再相加，就把how变成了一个新的64个格子的向量，然后对are和you做同样的操作，就得到了三个新的向量。

参加这轮核算的KQV是固定的，而模型里一共有16组不同的KQV，他们分别都会做一轮方才这样的运算，得到16组不同的输出，这叫做多头注意力，意味着对这句话的16组不同的了解。把它们拼在一起，就得到了和输入相同长度的1024个格子，再乘一个权重矩阵W就进入到了全链接层的核算。

在全衔接层里，便是4096个咱们熟悉的神经元，它们都仍是在做分类的作业。这儿的核算是把被注意力层转化后的how向量和这儿的每一个神经元都衔接在一起，1024个格子里的每一个数字都分别和榜首个神经元的连线的权重相乘再相加，这个神经元会输出一个相似度分值，与此同时，每一个神经元都在做相似的操作。只需少量神经元的输出大于零，也就意味着神经元对这个敏感，再衔接1024个格子号所对应的向量，就又得到了一个新的向量。之后are和you做相似的核算，就得到了三个和初始长度相同的1024长的格子串，这便是一层注意力编码层内产生的作业。之后的每一层都依照相同的流程在上一层的基础上做进一步的核算，即使每一层都只带来了一点点了解，24层算完以后也是许多了解了，终究仍是得到三个向量，每个1024长。而模型要输出的下一个词就根据这终究一个向量，也便是you变换来的向量，把它从1024恢复成0-50256范围的序号，咱们就能看到这个序号向量在词表里最接近的值。到这一步就能够说模型算出了how are you之后的下一个词，最有或许是doing。

咱们期望模型持续续写，就把这个doing续在how are you后边，转化成四个向量，再输入进模型，重复方才的流程，再得到下一个词。这样一个接一个，一段话越来越长，直到结束，变成咱们看到的一段话，这便是文字接龙的隐秘。而ChatGPT也只是把这个续写模型改成了对话界面罢了，你提的每一个问题都会像这样成为续写的起点，你们共同完结了一场文字接龙。

2.3 “大”言语模型

刚刚说到的每一层的核算流程长，其实还好，GPT真实吓人的地方是参数量大。GPT1的根本尺度是768，每一层有超越700万个参数，12层便是1.15亿个参数，在他发布的2018年现已非常大了。咱们刚刚拆开的GPT medium根本尺度是10241，共有24层，每一层有1200万参数，乘起来便是3.5亿参数。而到了ChatGPT用的GPT3的版别，它的参数量是1750亿，层数添加到了96层。GPT4并没有发布它的巨细，有媒体猜想它是GPT3的六倍，也便是一万亿参数。这意味着，即使把一张3090显卡的显存变大几百倍，让他能装的下级GPT4，答复一个简略问题或许仍然需求核算40分钟。

拆开这一切，就会发现没有什么惊人的隐秘，只需大，文明奇迹的那种大，无话可说的那种大，这便是GPT系列的真相，一个“大”言语模型。可是咱们仍是无法答复为什么这样的模型能够产生智能，以及现在还呈现了一个新的问题，为什么参数量非得这么大？

让咱们先总结一下目前的已知信息，榜首，神经网络只会做一件作业，数据分类，第二，GPT模型里注意力层担任提取言语中的含义，再经过全链接层的神经元输出存储好的常识，第三，GPT说的每一个词都是把对话中的一切词在模型中跑一遍，挑选输出概率最高的词。所以，GPT拥有的常识是从哪来的？咱们能够在OpenAI的论文中看到ChatGPT的预练习数据集，他们是来自网站、图书、开源代码和维基百科的大约700GB的纯文本，一共是4991个token，相当于86万本西游记。而它的练习进程便是经过自动调整模型里的每一个参数，完结了这些海量文字的续写。

在这个进程中，常识就被存储在了这一个一个的神经元参数里，之后它的上千亿个参数和存储的常识就不再更新了。所以咱们使用到的ChatGPT其实是彻底中止的，就像一具精致的尸身，它之所以看起来能记住咱们刚刚说的话，是由于每输出一个新的词，都要把前面的一切词拿出来再算一遍，所以即使是写在最开头的东西，也能够影响几百个单词之后的续写成果。但这也导致了ChatGPT每轮对话的总词汇量是有上限的，所以GPT不得不限制对话程度。就像是一条只需七秒回忆的天才金鱼。

现在回到前语中说到的问题，为什么ChatGPT能够答复他没有学习过的互联网不存在的问题，例如一个练习数据里不或许存在的六位数加法，这明显无法经过核算学的办法来猜想下一个最高概率的数字是多少，这些核算之外的新才能是怎样呈现的？

今年5月，OpenAI的新研讨给了我启发，这篇论文名为《言语模型，能够解说言语模型中的神经元》[6]。简略来说便是用GPT4来解说GPT2。给GPT2输入文本时，模型里的一部分神经元会激活，Open AI让GPT4观察这个进程，猜想这个神经元的功用，再观察更多的文本和神经元，猜想更多的神经元，这样就能够解说GPT2里边每一个神经元的功用，可是还不知道GPT4猜的准禁绝。验证办法是让GPT4根据这些猜想树立一个仿真模型，模仿GPT2看到文本之后的反响，再和真的GPT2的成果做比照，成果一致率越高，对这个神经元功用的猜想就越精确。OpenAI在这个网站里记载了他们关于每一个神经员的剖析成果。

比方咱们输入30, 28，就能够看到第30层的第28个神经元的状况。GPT4以为这个神经元重视的是详细时间。下面是各种测试例句，绿色就表明神经元对这个词有反响，绿色越深，反响就越大。能够发现，即使拼写彻底不同，但这些模型中间层的神经元也现已能够根据词语和上下文来了解它们的含义了。

但OpenAI也发现，只需那些层数较低的神经元才是容易了解的。这个柱状图里的横坐标是对神经元解说的精确程度，纵坐标是神经元的数量。能够看到，关于前几层的神经元，差不多一半都能做到0.4以上的精确度。可是层数越高，得分低的神经元就越来越多了，大多数神经元仍是处在一片迷雾之中。

由于关于言语的了解本来便是难以解说的，比方这样一段对话。关于中文母语的咱们来说，很快就能了解这段话的意思，可是关于一个神经网络，只靠几个对“意思”有反响的神经元明显是不够意思。

A：“你这是什么意思？” B：“没什么意思，意思意思。” A：“你这人真有意思。” B：“其实也没有别的意思。” A：“那我就不好意思了。” B：“是我不好意思。”

而GPT似乎了解了这些意思，它是怎样做到的？

2.4 Emergence – 呈现

“将万事万物复原为简略根本定律的才能，并不包含从这些定律出发，重建整个宇宙的才能。” —— Philip Anderson.

1972年，理论物理学家Philip Anderson在Science宣布了一篇名为《More is Different》[7]的论文，奠定了杂乱科学的基础，安德森以为：“很多根本粒子的杂乱聚集体的行为并不能根据少量粒子的性质作简略外推就能得到了解。取而代之的是在每一杂乱性的开展层次之中呈现了全新的性质，从而我以为要了解这些新行为所需求作的研讨，就其基础性而言，与其它比较也毫不逊色”。

回忆言语模型的结构，信息是跟着注意力编码层不断往上流动的，层数越高的神经元越有才能重视那些杂乱笼统的概念和难以言说的隐喻。这篇叫《在干草堆里找神经元》[8]的论文也发现了相似的状况，他们找到了一个专门用来判别言语是否为法语的神经元。假如在小模型傍边屏蔽这个神经元，他对法语的了解才能立刻会下降，而假如在一个大模型中屏蔽它，或许简直没什么影响。这意味着在模型变大的进程中，一个单一功用的神经元很或许会割裂出多个适应不同状况的神经元，它们不再那么直白的判别单一问题，从而变得更难。

能了解这便是OpenAI为什么非得把模型搞得这么大的原因，只需满足大才满足笼统，而大到了一定程度，模型甚至会开端呈现从未呈现过的全新才能。

在这篇名为《大言语模型的呈现才能》的论文中[9]，研讨人员关于这些巨细不同的言语模型完结了八项新才能的测试。能够看到，他们在变大之前一向都不太行，而一旦大到某个临界点，它忽然就行了，开端变成一条上窜的直线，就像是在一瞬间彻悟了相同。

纵观咱们的自然和宇宙，一个杂乱体系的诞生往往不是线性成长，而是在杂乱度积累到某个阈值之后，忽然的产生一种新的特质，一种此前从未有特的全新状况，这种现象被称作呈现，Emerge。而这个上千亿参数的大言语模型，如同真的呈现出了一些数据分类之上的新东西。

最近读了《失控》这本书，里边也说到了一个概念叫呈现，能够了解为蜂群才智。一只蜜蜂是很笨的，可是组成一个集体就能够完结许多逾越个别才智的决议计划。当然我不觉得AI的单个神经元是愚笨的，而是会不会这种“认识”，也会由于很多功用迭代，学习，忽然呈现出来，就像人类的进化，不知怎样的就有了认识。就像这个世界的一切都是由原子构成，但假如只是核算原子之间的彼此作用力，咱们永久也无法了解化学，也无法了解生命。所以，假如只是从复原论的视点把AI看作只做二元割裂的圆圈和线，咱们就永久无法了解大言语模型今日呈现出的笼统逻辑和推理才能，为此，咱们需求在一个新的层级从头了解这件事。

三、中文房间

1980年，美国哲学教授John Searle在这篇名为《心智大脑和程序》[10]的论文中提出了一个闻名的思想试验，中文房间。把一个只懂英文的人关在一个关闭的房间里，只能经过传递纸条的办法和外界对话。房间里有一本英文写的中文对话手册，每一句中文都能找到对应的回复。这样房间内的人就能够经过手册顺畅的和外界进行中文对话，看起来就像是会中文相同，但实际上他既不了解外面提出的问题，也不了解他所回来的答案。

他试图经过中文房间证明，不论一个程序有多聪明或许多像人，他都不或许让核算机拥有思想、了解和认识。真的是这样吗？在这个名为互联网哲学百科全书的网站中，能够看到环绕中文房间的各种争论，他们都没能相互说服。

这些评论都停留在思想层面，由于假如只靠一本打印出来的手册，中文房间是不或许完结的。中文对话有着无穷无尽的或许，即使是同样一句话，上下文不同，答复也不同。这意味着手册需求记载无限多的状况，要不然总有无法答复的时分。但诡异的是，ChatGPT真的完结了。作为一个只需330GB的程序，ChatGPT在有限的容量下完结了简直无限的中文对话，这意味着他完结了对中文的无损紧缩。

幻想有一个这样的复读机，空间只需100MB，只能放十首歌。要听新的歌，就得删掉旧的歌。但现在咱们发现了一个神奇复读机。现在只需求唱榜首句，这个复读机就能够经过续写波形的办法把任何歌曲播映出来。咱们应该怎样了解这个复读机？咱们只能以为他学会了唱歌。

四、Compression – 紧缩即才智

回想GPT的学习进程，它所做的，便是经过它的1750亿个参数，完结了它所学习的这4990亿个token的紧缩。到这一步，逐步认识到，是紧缩产生了智能。

Jack Ray, OpenAI大言语模型团队的核心成员，在视频讲座中说到，紧缩一向是咱们的方针。

接下来是我关于紧缩及智能这件事的了解，假设我要给你发送这句话，“紧缩即才智”。

咱们能够把GPT作为一种紧缩东西，我用它紧缩这句话，你收到后再用GPT解压，咱们得先知道这句话的信息量有多大。在GBK这样的编码里，一个汉字需求两个字节，也便是16个0/1来表述，这能够表明2的16次方，也便是65536种或许。这句话一共5个字符，就需求一共80个0和1，也便是80比特。但实际上这句话的信息量是能够小于80比特的。它的实在信息量其实能够用一个公式核算。



这是1948年香农给出的信息熵的界说，它告知咱们信息的实质是一种概率密度。咱们能够把这儿的P简略了解为每个字呈现的概率，它们呈现的概率越低，整句话的信息量就越大。假如这句话里的每个字都是毫无规则的随机呈现，那么P的概率便是1/65536，核算后的信息量便是原始的80比特。常见的传统紧缩办法是找到重复的字，但简直不重复的语句就很难紧缩。更重要的是，正常的言语是有规则的，“压”后边跟着“缩”的概率远大于1/65536，这就给了信息进一步紧缩的空间。而言语模型所做的便是在紧缩的进程中找到言语的规则，进步每个字呈现的概率。比方咱们只发送“紧缩”，让言语模型开端续写，猜想的概率表里就会呈现接下来的词，咱们只需求挑选“即”和“才智”所在的位置，例如（402，350）。那这两这个数字就完结了信息的紧缩，接收方根据这些信息，从相同言语模型的概率去处理，选出数字对应的选项，就完结了解压。2个最大不超越5000的数字，每个数字只需13位0/1就能表明，加上前2个字，一共也只需求发送52位0/1，信息紧缩到原来的52/80大约65%。

相反，假如言语模型的猜想作用很差，后续文字的词表仍是会很长，无法完结很好的紧缩作用。所以能够发现，紧缩作用越好意味着猜想作用越好，也就反映了模型关于被紧缩信息的了解，而这种了解本身便是一种智能。为了把九九乘法表紧缩的满足小，他需求了解数学，而假如把行星坐标紧缩的满足小，他或许就了解了万有引力。今日，大言语模型现已成为了无损紧缩的最佳计划，能够完结14倍的紧缩率。紧缩这一视角最大的含义在于，比较于神秘莫测的呈现，它给了咱们一个清晰明确、能够量化机器智能的计划。即使面临中文房间这样的思想试验，咱们也有办法研讨这个房间的智能程度。

可是，经过紧缩产生的才智和人的心智真的是同一种东西吗？

五、写在终究

假如要问，现阶段GPT和人类说话办法最大的不同是什么，我以为，答案是他不会说谎。关于言语模型来说，说和想是一件作业，他只是一个字一个字的把他的考虑进程和心思活动说出来了罢了。GPT从不答复我不知道，由于他并不知道自己不知道，这便是AI的错觉，看起来就像是一本正经的胡说八道，他只是想让对话持续下去，是否正确反而没那么重要。优化这个问题的办法也很简略，只需求在发问的时分多弥补一句，Let’s think step by step，请逐步剖析，让GPT像人相同多想几步，对他来说也便是把想的进程说出来。Step by step，这种才能也被称为Chain of Thought，思想链。心思学家Daniel Kahneman把人的思想划分成了两种，体系一是直觉、快速的、没有感觉的，体系二则需求自动的运用常识、逻辑和脑力来考虑。前者是快考虑，就像咱们能够信口开河八九七十二，九九八十一，而后者是慢考虑。就比方要答复72乘81是多少，就必须列出进程，一步步核算。思想链的存在意味着大言语模型总算有了推理才能。而为了做到这件事，咱们的大脑进化了6亿年。咱们能够在6亿年前的水母身上看到神经网络最古老的运行办法。水母外围的触角区域和中心的嘴部区域都有神经元。当触角感知到食物时，这儿的神经元会激活，然后把信号传给中心的神经元，食物也会被这个触角卷起来送到嘴里。漫长的岁月里，咱们的大脑就在神经网络的基础上一层又一层的叠加成长出来。

首要进化出来的是爬虫类脑，这部分和青蛙的脑子有点像，它操控着咱们的心跳、血压、体温这些让咱们不会死的东西。然后是古生物脑，它支配着咱们的动物天性，饥饿、惊骇和愤怒的情绪，繁衍后代的愿望都来自边缘体系的操控。而最外侧这两毫米左右的薄薄的一层，是最近几百万年才进化出来的新结构、新皮质，咱们人类引以为傲的那些部分，言语、文字、视觉、听力、运动和考虑都产生在这儿，但咱们对新皮质仍是知之甚少。目前已知的是，这儿有大约200亿个神经元，每一平方厘米的新皮质中都大约有一千万个神经元和500亿个神经元之间的衔接。只需求从人类大脑外侧取下一小片三平方厘米的新皮质，就现已和ChatGPT大的吓人的参数量相似了。而咱们的大脑之所以需求这么多神经元，是由于GPT只是需求猜想下一个词，而咱们的神经元需求时间猜想这个世界下一秒会产生什么。

最近几十年的神经科学研讨发现除了能激活神经元的突触信号，还存在很多担任猜想的树突脉冲信号。一个处于猜想状况的神经元假如得到满足强的突出信号，就能够比没有猜想状况的神经元更早的被激活，从而抑制其他的神经元。这意味着有一个事无巨细的世界模型就存储在咱们新皮质的200亿个神经元里，而咱们的大脑永久不会中止猜想。所以，当咱们看到一个东西，其实看到的是大脑提早构建的模型，假如它符合咱们的猜想，无事产生。而一旦猜想过错，很多的其他神经元就会被激活，让咱们注意到这个过错，并及时更新模型。所以每一次过错都有它的价值。咱们也正是在许多次的猜想过错和更新认知中真实认识了世界。

现在我能够试着答复开始的问题，GPT或许没有呈现心智，但他现已拥有了智能。它是一个“大”的言语模型，是几百万个圆圈和线相互衔接的分类器，是经过猜想下一个词完结文字接龙的谈天大师，是不断向上抽取含义的天才金鱼，是对几千亿文字无损紧缩的复读机，是不论对错永久积极回应人的帮手。它或许又是一场快速退潮的科技热门，也或许是人类的终究一项重要的创造。从围棋、绘画、音乐到数学、言语、代码，当AI开端在那些象征人类智力和创造力的作业上逐步逾越的时分，给人类最大的冲击不只是是作业被替代的惊骇，而是一种更深层的自我置疑。人类的心智是不是要比咱们幻想的浅陋的多，我不这么以为。

机器能够是一个精妙精确的复读机，而人类是一个会出错的复读机。缺陷和过错界说了咱们是谁。每一次不合规则，每一次难以了解，每一次缄默沉静、中止和注视，都比不假思索的答复更有价值。

参考文献

[1] Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems 30 (2017).

[2] Radford, Alec, et al. “Language models are unsupervised multitask learners.” OpenAI blog 1.8 (2019): 9.

[3] Brown, Tom, et al. “Language models are few-shot learners.” Advances in neural information processing systems 33 (2020): 1877-1901.

[4] Rosenblatt, F. “The perceptron: A probabilistic model for information storage and organization in the brain. ” Psychological Review, 65 (1958): 386–408.

[5] Radford, Alec, et al. “Improving language understanding by generative pre-training.” (2018).

[6] Bills, Steven, et al. “Language models can explain neurons in language models.” URL https://openaipublic. blob. core. windows. net/neuron-explainer/paper/index. html.(Date accessed: 14.05. 2023) (2023).

[7] Anderson, Philip W. “More Is Different: Broken symmetry and the nature of the hierarchical structure of science.” Science 177.4047 (1972): 393-396.

[8] Gurnee, Wes, et al. “Finding Neurons in a Haystack: Case Studies with Sparse Probing.” arXiv preprint arXiv:2305.01610 (2023).

[9] Wei, Jason, et al. “Emergent abilities of large language models.” arXiv preprint arXiv:2206.07682 (2022).

[10] Searle, John R. “Minds, brains, and programs.” Behavioral and brain sciences 3.3 (1980): 417-424.

作者：京东零售 李新健

来历：京东云开发者社区 转载请注明来历