杨净 发自 凹非寺
量子位 | 公众号 QbitAI
- 一个月共迭代4次；
- 模型推理效率提高10倍，最近一次带来的推理提高达到123%；
- 推理功能提高50%，模型算力利用率提高1倍。
简略归纳就是说，迭代很快、不只本钱降下来了，趁便还把功能提高了？！
要知道曩昔一个月内，全球网友们的热情被这场技能风暴所点燃，人们玩得不亦乐乎，ChatGPT也overload了好几次。
作为国内率先发布的文心一言，是如何保持住高效迭代的？
在这份成绩单中，找到了答案。
文心一言首月数据曝光
曝光的数据不多，但全都是要害技能指标——
大模型练习与推理方面的数据，直接影响后续产品体验效果的好坏。
首要，迭代方面。百度飞桨支撑的大模型推理服务在4月19日再次迭代，搭载了支撑动态插入的分布式推理引擎。据消息称，这仍是业内创始。
截止现在，已迭代至3.5版别，一个月共迭代4次。
详细到推理方面，QPS （每秒查询推理响应速度）提高10倍，模型推理功能提高50%，模型算力利用率提高1倍。
QPS （每秒查询推理响应速度）提高10倍，也就代表着是大模型推理效率的提高，推理本钱下降为原来的10分之一。换言之，在平等本钱情况下可以为更多用户供给服务。
模型推理功能提高50% 。大模型需求在用户反馈中继续不断的学习，推理作为大模型使用的要害，其功能的提高直接影响到产品侧的效果。
而算力利用率提高1倍，相同也是降本增效的表现。
事实上，不管是迭代速度，仍是从模型本钱、功能以及效率等多方面的提高，而这背面文心一言之所以能够高效迭代，飞桨的重要性不容忽视。
更确切地来说，「飞桨+文心一言」联合优化。
大模型不只需求单纯的「暴力美学」的支撑，一起还需求深度学习结构作为底层来支撑高效、安稳的分布式练习。
此次数据就能够看到，飞桨即向上与模型「文心一言」，又向下与芯片算力都完成了协同优化，完成整体的效能提高。
而详细到推理进程，飞桨能为文心一言“定制”了一个精细生产流程，结合大模型算力、数据、参数量等特点来规划工艺，从而提高了推理效率和功能，协助模型学习得越快越好。
大模型技能职业挑战
这些迭代数据的背面，带出了大模型技能的新职业挑战值得探讨。
跟着更多工业玩家的推进，咱们现已显着感知到大模型投入大本钱高。假如没有满足的资金和核算资源，就连开发练习这一阶段都难以进行。
据最新消息，OpenAI每天需求支付70万美元来维持ChatGPT基础设施运行。在此之前微软也现已从中投入了数十亿美元。
诚如每每有职业大佬挑选大模型创业，都有网友戏弄：这点钱不行烧的。
其次，大模型优化难迭代要求高，需求自上而下的大局优化。
以往认知中，大模型核心技能突破来源于暴力资源累积，能够是超大规模核算资源的聚集、超大规模模型结构的规划、海量数据亦或是参数量的提高……
但事实上这牵涉到每个环节自上而下很强的经历堆集。
诚如OpenAI有业内人士消息称，它将整个公司最优秀的算法研究员，拿去做数据规划和处理。
现在在百度文心一言，也得到再一次印证：
大模型的突破和迭代，并非靠简略三驾马车（算力算法数据）来驱动，而是一整套从底层芯片结构到模型练习推理等流程的体系工程化难题。
与此一起在这份数据中，也泄漏出了百度的经历解法：
大局技能栈，端到端优化。
早在文心一言发动邀测时，李彦宏就现已披露，百度将现在已有的AI技能栈自上而下分成了四个方面：使用层、模型层、结构层与芯片层。
四层架构之间端到端优化，进而来完成降本增效。此次飞桨与文心一言的联合优化，正好就是这套解法最直观的展示。
飞桨之于文心一言，一方面其开源分布式架构，能够支撑模型大规模GPU并行练习，以提高模型的功能和效率。另一方面，连接了芯片层与模型层，将整套流程规划得愈加精细和适配。
乃至业内人士这样形象化地形容：
大模型就像汽车的发动机，要压榨动身动机瞬时最大爆发力（QPS）以及最优的功能表现。
深度学习就像是发动机的动力源“变速箱“，能够让发动机整体部件组合更精细、动力更强。
更要害在于，假如这几层技能栈都是自主自研，那么协同合作就会更高效，效率提高也会愈加显着。
这些又意味着什么？
最终，在这些职业挑战和百度经历解法之中，也泄漏出了大模型发展的几大趋势。
首要，大模型想要跑得快跑得稳，必须端到端优化。
OpenAI的成功一方面能够归结于本身的人才技能以及长时间投入，另一方面微软从结构到算力的支撑，也在其间做出了要害贡献，这才有了继续惊艳全球的ChatGPT。
只是当时这种端到端优化的范式没有被太多着重关注。而此次曝光的文心一言数据，则是更广泛地证明了端到端优化的优势。
以往我们所关注到的是大模型练习中算力、算法以及数据的必要性。但底层比如深度学习结构，对大模型练习推理的重要作用也应该被我们所广泛感知。
其次，端到端优化的趋势，也正在改变大模型赛道游戏规则。
ChatGPT风暴席卷而来，巨头们纷纷出场，大佬们前后脚创业，大模型人才被哄抢，每周都有上千个AI使用涌现……每个躬身入局的组织都在金钱、时刻等方面进行抢夺与追赶。在大模型的创业浪潮中，有人把入场券门槛以为5000万美元，窗口期大概在半年到一年。
但现在这种端到端优化趋势，正在让创业窗口期越来越短。
原因无他，大模型雪球效应现已开端展示。
以百度为代表的大模型玩家，正在形成“架构-大模型-使用-数据”飞轮加速闭环。一方面，推理本钱下降，加速大模型工业落地，乃至可能比上一波浪潮更快；另一方面，大模型迭代速度越来越快，产品使用具有长时间继续性，商业壁垒更简单树立，对下游生态玩家而言，这自然是刚需和利好。
但与之相关，大模型创业乃至产品发布的窗口期也正在被压缩，留给大模型创业玩家的涌现的时刻也不多了——
他们不光要预备金钱、时刻等这些外在资源储藏，还需求考虑本身产品能否还具有竞争力。另外创业的必要性也正在减弱：就动辄大几千万乃至上亿的入场券来说，既没有必要重复造轮子，也没有端到端核心堆集优势。
大模型创业的机会，会开端朝着生态和使用立异倾斜。
但也正因如此，反而愈加彰显了大模型自主的重要性，由于太基础、太底层、太需求把生态放在放心安心的国产层面了。
大模型趋势再明晰不过，千行百业的落地价值也现已预见，入局是必然，但之前是否需求按照地缘区域或国界区分“造轮子”却没有一致——有些观点里，依然相信科学技能的进展会普惠到全世界。
但是跟着地球另一边，OpenAI越来越Close，API输出的区别对待，中国需求自己的大模型底座，正在成为一致。
有意思的是，这在芯片、深度学习结构、底层架构渠道的打造进程中，现已有过一轮评论，有过一轮经历教训，而且还被类比为了汽车工业中的“发动机”，最终清晰“发动机”必须要自主，这样工业才真正安全。
但是到了大模型竞速中，对于“变速箱”的认知，之前由于对大模型认知不齐备，存在不同声响，但此役往后，应该无人再有贰言了。
究竟百度现已在打造、迭代的进程中，展示出了这种四层自研技能栈的端到端协同的必要性和重要性。
不过也正是这种必要性和重要性，进一步明示了大模型打造的严酷的游戏规则：
凡有的，还要加倍给他，叫他剩余；没有的，连他所有的也要夺过来。
这背面既是端到端全栈带动的壁垒，更是数据、使用驱动飞轮之下越滚越大的雪球。
跟着雪球向前，大模型工业落地的速度自然会加速，一起留给其他大模型玩家涌现的时刻也越来越紧缺。
这种趋势现已开端，这种趋势还会继续。
—完—
