大模型天花板GPT-4，它是不是……变笨了？
先是少量用户提出质疑，随后许多网友表明自己也留意到了，还贴出不少证据。
有人反应，把GPT-4的3小时25条对话额度一口气用完了，都没处理自己的代码问题。
无法切换到GPT-3.5，反倒处理了。
总结下咱们的反应，最主要的几种体现有：
- 曾经GPT-4能写对的代码，现在满是Bug
- 答复问题的深度和剖析变少了
- 响应速度比曾经快了
这就引起不少人置疑，OpenAI是不是为了节约本钱，开端偷工减料？
两个月前GPT-4是世界上最伟大的写作帮手，几周前它开端变得平凡。我置疑他们削减了算力或许把它变得没那么智能。
这就不免让人想起微软新必应“出道即巅峰”，后来惨遭“前额叶切除手术”才能变差的工作……
网友们相互交流自己的遭受后， “几周之前开端变差” ，成了咱们的共识。
一场言论风暴一起在Hacker News、Reddit和Twitter等技术社区形成。
这下官方也坐不住了。
OpenAI开发者推广大使Logan Kilpatrick，出头回复了一位网友的质疑：
API 不会在没有咱们告诉您的情况下更改。那里的模型处于静止状态。
不放心的网友持续诘问承认“就是说GPT-4自从3月14日发布以来都是静态的对吧？”，也得到了Logan的必定答复。
“我留意到关于某些提示词体现不共同，仅仅因为大模型自身的不稳定性吗？”，也得到了 “Yes” 的回复。
但是到现在，针对网页版GPT-4是否被降级过的两条诘问都没有得到答复，并且Logan在这段时刻有发布其他内容。
那么工作终究如何，不如自己上手测验一波。
关于网友遍及说到GPT-4写代码水平变差，咱们做了个简略试验。
实测GPT-4“炼丹”身手下降了吗？
3月底，咱们曾试验过让GPT-4“炼丹”，用Python写一个多层感知机来实现异或门。
让GPT-4改用numpy不必结构后，第一次给出的成果不对。
在修正两次代码后，运转得到了正确成果。第一次修正隐藏神经元数量，第二次把激活函数从sigmoid修正成tanh。
6月2日，咱们再次测验让GPT-4完成这个使命，但换成了中文提示词。
这回GPT-4第一次就没有运用结构，但给的代码仍然不对。
后续只修正一次就得到正确成果，并且换成了力大砖飞的思路，直接增加练习epoch数和学习率。
答复的文字部分质量也未调查到显着下降，但响应速度感觉的确有变快。
因为时刻有限，咱们只进行了这一个试验，且因为AI自身的随机性，也并不能否定网友的调查。
最早4月19日就有人反应
咱们在OpenAI官方Discord频道中搜索，发现从4月下旬开端，就不时有零星用户反应GPT-4变差了。
但这些反应并未引发大规模讨论，也没有得到官方正式回应。
5月31日，Hacker News和Twitter同天开端许多有网友讨论这个问题，成为整个事情的关键节点。
HackerNews一位网友指出，在GPT-4的头像仍是黑色的时候更强，现在紫色头像版在修正代码时会丢掉几行。
在Twitter上较早提出这个问题的，是HyperWrite（一款根据GPT API开发的写作东西）的CEO，Matt Shumer。
但这条推文却引发了许多网友的共鸣，OpenAI员工回复的推文也正是针对这条。
不过这些回应并没让咱们满足，反而讨论的规模越来越大。
比方Reddit上一篇帖子说到，本来能答复代码问题的GPT-4，现在连哪些是代码哪些是问题都分不出来了。
在其他网友的诘问下，帖子作者对问题出现的过程进行了概述，还附上了和GPT的聊天记录。
关于OpenAI声称模型从三月就没有改动过，揭露层面的确没有相关记录。
ChatGPT的更新日志中，分别在1月9日、1月30日、2月13日说到了对模型自身的更新，触及改进现实准确性和数学才能等。
但自从3月14日GPT-4发布之后就没说到模型更新了，只有网页APP功用调整和增加联网形式、插件形式、苹果APP等方面的改变。
假定真如OpenAI所说，GPT-4模型自身的才能没有改变，那么这么多人都感觉它体现变差是怎么回事呢？
许多人也给出了自己的猜想。
第一种可能的原因是心思作用。
Keras创始人Franois Chollet就表明，不是GPT的体现变差，而是咱们渡过了最初的惊喜期，对它的等待变高了。
Hacker News上也有网友持相同观念，并补充到人们的关注点发生了改动，对GPT失误的敏感度更高了。
抛开人们心思感受的差异，也有人置疑API版别和网页版别不一定共同，但没什么实据。
还有一种猜想是在启用插件的情况下，插件的额定提示词对要处理的问题来说可能算一种污染。
这位网友就表明，在他看来GPT体现变差正是从插件功用开端公测之后开端的。
也有人向OpenAI员工询问是否模型自身没变，但推理参数是否有改变？
量子位也曾偶尔“拷问”出ChatGPT在iOS上的系统提示词与网页版并不共同。
- 假如在手机端敞开一个对话，它会知道自己在通过手机与你交互。
- 会把答复控制在一到两句话，除非需求长的推理。
- 不会运用表情包，除非你清晰要求他运用。
那么假如在网页版持续一个在iOS版敞开的对话而没意识到，就可能调查到GPT-4答复变简略了。
总之，GPT-4自发布以来究竟有没有变笨，现在仍是个未解之谜。
但有一点可以确定：
3月14日起咱们上手玩到的GPT-4，从一开端就不如论文里的。
与人类对齐让AI才能下降
微软研讨院宣布的150多页刷屏论文《AGI的火花：GPT-4早期试验》中清晰：
他们早在GPT-4开发未完成时就得到了测验资历，并进行了长时间测验。
后来针对论文中许多惊艳例子，网友都不能成功用揭露版GPT-4复现。
现在学术界有个观念是，后来的RLHF练习虽然让GPT-4更与人类对齐——也就更遵从人类指示和契合人类价值观——但让也让它自身的推理等才能变差。
论文作者之一、微软科学家张弋在中文播客节目《What’s Next｜科技早知道》S7E11期中也说到：
那个版别的模型，比现在外面咱们都可以拿得到的GPT-4还要更强，强十分十分多。
举例来说，微软团队在论文中说到，他们每隔相同一段时刻就让GPT-4运用LaTeX中的TikZ画一个独角兽来追寻GPT-4才能的改变。
论文中展示的最终一个成果，画得现已相当完善。
但论文一作Sebastien Bubeck后续在MIT宣布演讲时透露了更多信息。
后来当OpenAI开端关注安全问题的时候，后续版别在这个使命中变得越来越糟糕了。
与人类对齐但并不下降AI自身才能上限的练习方法，也成了现在许多团队的研讨方向，但还在起步阶段。
除了专业研讨团队之外，关心AI的网友们也在用自己的方法追寻着AI才能的改变。
有人每天让GPT-4画一次独角兽，并在网站上揭露记录。
从4月12日开端，直到现在也还没看出来个独角兽的大致形态。
当然网站作者表明，自己让GPT-4运用SVG格局画图，与论文中的TikZ格局不相同也有影响。
并且4月画的与现在画的好像仅仅相同差，也没看出来显着退步。
最终来问问咱们，你是GPT-4用户么？最近几周有感到GPT-4才能下降么？欢迎在谈论区聊聊。
Bubeck演讲：
www.youtube.com/watch?v=qbI…
张弋访谈：
xyzfm.link/s/UfTan0
每天一个GPT-4独角兽
gpt-unicorn.adamkdean.co.uk
参考链接：
[1]news.ycombinator.com/item?id=361…
[2]twitter.com/nabeelqu/st…
[3]twitter.com/OfficialLog…
[4]discord.com/channels/97…
[5]twitter.com/mattshumer_…
[6]www.reddit.com/r/ChatGPT/c…
[7]help.openai.com/en/articles…
[8]twitter.com/fchollet/st…
[9]news.ycombinator.com/item?id=361…
—完—
