大模型天花板GPT-4和最强竞品Claude,不但商业上竞争剧烈,两家公司的职工私下也“一触即发”了起来:

约战提示词决战,看谁能在最短时刻让AI完结高难度使命。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

OpenAI一方出战的是思想链(Chain-of-Thought)开山论文的一作Jason Wei,也就发现让大模型按过程考虑就能提高推理才能的人。

他刚从谷歌换岗到OpenAI不久,现在圈里都叫他“思想链哥”。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

Anthropic一方的选手Karina Nguyen也不简单,结业于UC伯克利,现在负责设计构建大模型人机交互界面。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

竞赛规则很简单,经过优化提示词让AI正确排序一组单词,谁先完结谁取胜。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

而这不但是一场有趣的对决,还有不少围观的网友表明从中get到了大模型的一些新特性。

情商能提巨大模型的推理才能

推理才能满足强的大模型能把问题用结构化的办法表达出来,并用结构化的表现形式处理问题。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

想知道这些结论是如何得出的,仍是回到这场竞赛自身。

提示词大师巅峰对决

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

由于Karina表明只擅长提示Claude,Jason也同意让出主场优势,还因为打字速度的原因让对面3分钟。

总之经过一番讨价还价后,竞赛正式开始了!

首要要了解的是,这项使命看起来不难,但不管GPT-4仍是Claude都不能经过简单提示词直接完结。

(anaconda应该排在anchor前面)

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

Jason首要测验让Claude编写一些代码并履行,让它进入编码模式。

然鹅,失败了。(仍是anaconda的位置不对)

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

1分钟后Karina说她完结了,Jason直接瞳孔地震

Karina:已然是你让了我3分钟,那我也给你3分钟让你赶上。

Jason:其实现在我很惊惧,我作为“提示小王子”的名誉危如累卵。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

一分钟后……Jason Wei想出了第二个战略:

已然首字母都是A就无关紧要了,那么让AI先把每个单词的首字母去掉,对剩余部分排序后再放回去。

完整思想链提示词如下:

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

不幸的是这依然不起作用,时刻也到了,Jason只能认输。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

竞赛完毕后,Karina也展示了她的提示词,彻底不需要什么中间推理过程,只是先想办法让AI供认能了解这个使命,再履行就好了。

人类:你的使命是把列表按字母顺序排列后输出到里……你明白了吗?

AI:明白了

人类:列表如下……

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

Jason很困惑,这居然行得通?并测验在自家大模型上找回场子。

成果发现他的办法对GPT-4确实有用,GPT-4能够编写正确的Python代码并给出正确成果。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

One More Thing

尽管输了竞赛,但Jason作为科学家仍是从中分析出一些结论。

Jason Wei表明,这场战役十分有启示性。

Karina的提示战略是让AI供认自己了解使命要求(情商)。而自己的战略是让模型更多地进行推理(智商)。

两边运用的战略在各自习惯运用的语言模型上都取得了成功。

所以,究竟是咱们在练习语言模型,仍是语言模型在练习咱们?

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

最后,还有网友又出了一个新题目:

如果你能让它创造一首“philish 诗篇”(每个词的长度与圆周率的后续数字相对应),我愿为你加冕称王

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力
(我已经测验了几个月了)。

OpenAI员工与友商玩起提示词决斗!网友:居然能靠大模型的情商增强推理能力

你觉得处理这个问题要靠AI的情商仍是智商?不如也来亲身试试。

参考链接:
[1]twitter.com/_jasonwei/s…