夕小瑶科技说 原创
作者 | 卖萌酱
文心一言的这波更新，是真的杀疯了。
笔者测验了刚刚更新的文心一言，发现作用相比上一版又有了一个质的飞跃，内容创作、推理、代码等诸多维度的才能都有了肉眼可见的作用提高。
愈加王炸的是，文心一言抢先国内一众竞品，首先来到生态位奇点，正式发布了文心一言插件和集AI运用开发、布置、沟通于一体的大模型社区。
作为AI开发者，从此不用再羡慕近邻的Discord社区和ChatGPT插件生态了。
今天之后，咱们终于可以根据比ChatGPT更强壮的国产大模型，比Pytorch更快更稳的国产结构底座，去开发服务国人的大模型插件和大模型运用了！
昨日，笔者跟小同伴一同参加了百度举行的WAVE SUMMIT 2023深度学习开发者大会，会上，百度CTO王海峰等多位高管从AI的发展趋势、大模型的技能运用、结构的生态布局和AI原生运用等角度阐述了 “咱们将迎来怎样的AI原生年代” 。
大模型研讨测验传送门
GPT-4才能研讨传送门（遇浏览器正告点高档/继续拜访即可）：
gpt4test.com
而作为AI开发人员，笔者也自上一年ChatGPT发布后就一直在思考：
通用大模型处理了一切问题吗？
除了大模型插件，咱们还需要什么？
大模型年代，算法工程师该怎样开发AI运用？
处理AI任务的最快途径不再是许多标注数据+许多模型练习了，那么，怎样的开发套件能最适合新的开发范式？
大模型这么重，布置本钱极高、推理速度应战极大，普通人开发的AI运用又将如何面向许多用户供给服务？
在这场发布会后，笔者心中的答案明晰了许多。
人类之所以强壮，不只是因为人类聪明，更重要的是人类学会了制造东西、运用东西来拓宽自己的才能。
相同的，通用大模型是AI原生年代的大脑，它无法处理一切的问题，但当通用大模型的指令理解才能、思维链推理才能、信息整合才能优化到足够强之后，便具备了“运用东西”扩展本身才能的或许性。
而最新版的文心一言，就在国内大模型中肯定抢先，才能首先优化到了足以把握东西运用的水平。现在，新版的文心一言现已熟练把握超过200个创作体裁，内容丰富度是初期的1.6倍、思维链长度是初期的2.1倍，知识点覆盖是初期的8.3倍。
所以，文心一言有了“插件”的概念，开端了邀测，并于昨日的WAVE SUMMIT发布会上重磅推出了自己的插件生态，一同发起了开发者共创生态的召唤。
“插件年代”来了
笔者有幸拿到了文心一言当时内置的悉数5个官方原生插件的内测，包含览卷文档（长文档分析、摘要、润饰、改写等）、E言易图（数据洞察图表生成）、说图解画（根据图片的交互）、一镜流影（文字转视频）和百度查找：
话不多说，一同来随笔者感触下官方原生插件的冷艳！
一镜流影——文字转视频
咱们知道，做一个品牌营销视频是一件商业价值很高，但一同也是难度很大、流程繁琐、十分耗时的作业。所以，笔者果断挑选了难度最大的一镜流影（文字转视频）插件进行测验。
比方，咱们让文心一言生成一个推行牛奶品牌“鲜草之源”的营销视频：
**，时长00:29
这个作用，让笔者彻底惊住了。
什么？本来做视频现已是门槛这么低的工作了吗？并且还是一个从画面、案牍到配音都挑不出缺点的品牌营销视频！
笔者也体会过ChatGPT的生态下的一些文生视频的插件，但发现遍及偏玩具级，难以生成真实有用的视频。但百度文心一言官方出品的这个文生视频的插件，着实让笔者冷艳住了。
不得不说，官方yyds。。。
说图解画——看图说话
说图解画插件的作用也十分冷艳。比方笔者上传了一张《火影忍者》动漫人物宇智波佐助的剧图，文心一言说图解画插件不只可以精准的认出佐助，并且给出了十分到位的人物描述。
除此之外，还有E言易图（数据洞察图表生成），以及前期开端内测的百度查找和览卷文档插件。
而现在，不止官方插件，昨天文心一言还正式启动了大模型插件开发的邀请测验，并向广阔开发者供给了插件开发东西集。开发者可以自在进行信息服务类、东西类、根据大言语模型创新类等各种类型的插件开发了。
当然，如果你觉得单纯的开发插件、为大模型拓宽才能鸿沟不行过瘾，那么，我信任这次WAVE SUMMIT上重磅发布的“星河大模型社区”一定会让你眼前一亮。
星河大模型社区：承载AI原生运用的爆发
飞桨开发者社区AI Studio中文名是“星河社区”，寓意“文心加飞桨，翩然赴星河”。说起AI Studio，信任许多读者小同伴都不陌生了，它已是我国最大的AI开发者社区，凝集了609万个开发项目。
现在，AI Studio进行了全新晋级，正式推出星河大模型社区。百度希望和一切的开发者一同，在飞桨和文心的加持下，共建星河社区，共赴通用人工智能的星辰大海。
星河大模型社区不只供给了丰富的功用便利开发者进行沟通，并且面向AI开发者推出了一体化的大模型开发体会，目前上线的大模型构思运用已到达300多个！
老规矩，先放传送门：
aistudio.baidu.com/community
围绕大模型运用开发，星河大模型社区展开了十分丰富的功用。进到首页，能看到“频道”、“运用”和“构思坊”三个子栏。
你可以进到感兴趣的频道，与情投意合的小同伴沟通大模型开发和运用心得。你可以作为普通用户，在频道内向广阔的开发者发需求，求协助，也可以主动共享你的开发成果推荐给频道内的用户运用。
而在运用栏，则可以看到许多的炫酷大模型运用。目前星河大模型社区的开发者形式还处在邀测阶段，现已上线了300多个风趣或有用的构思运用。
作为开发者，你更可以直接在运用栏点击右上角创立运用。
比方咱们进到运用创立页，选中AI对话类型，尝试创立一只嘤嘤怪。
创立完成后，你便可以与自己刚创立的运用进行对话调试，符合预期后，便可以发布你的对话运用，共享给社区里的其他小同伴了。
运用发布后，便可以在社区的运用页找到你发布的运用了。其他用户可以直接拜访你的运用，体会相应的功用，乃至还可以经过相似github fork的方式弥补提示词，进行二次作用优化。
需要注意的是，虽然本文演示的运用较为简单，但星河大模型社区支撑的开发维度远不止prompt工程，你还可以外接知识库，乃至未来还会支撑模型微调等，将充分打开大模型运用开发的想象力。
此外，星河大模型社区还有一个相当炸裂的“躲藏才能”——底层依托于强壮的飞桨结构和雄厚的算力池，主动帮开发者完成了高功率、高并发的模型推理支撑。
也就是说，作为AI开发者，你可以将你的绝大部分注意力完全聚焦在运用构思层面，无需过多忧虑底层的技能优化和算力问题了！
过硬的底层技能，全新发布的飞桨开源结构v2.5
“无需忧虑底层”是每个AI运用开发者的终极愿望，但真实能做到位的AI开发套件其实很少。
现已凝集起800万开发者、22万企业和80万模型的百度飞桨，在这个问题上是当仁不让的业界模范。
练习速度慢、推理功率低、算力不行用等问题，被许多普通的大模型AI运用开发者深深困扰。
现在，全新发布的飞桨开源结构v2.5显然现已成为了大模型年代算法工程师手中的开发利器。
“文心大模型的练习速度到达优化前的三倍，推理速度相比初版已提高30倍”
这个数字的背后，则是飞桨结构从硬件、网络通信到中间件再到结构层的全链路深度优化，是飞桨自研的端到端自适应混合并行练习技能、模型紧缩、推理、服务布置协同优化后的结果。
在大模型练习方面，飞桨与文心联合优化的实践中，百度总结了大模型功能优化办法论：
- 与硬件集群协同优化，提高有用练习时刻占比。对于长时刻、高负荷的大模型练习而言，下降练习集群的故障率和练习恢复本钱无疑是至关重要的。在这一点问题上，新版的飞桨结构做了许多的作业，包含做反常硬件的检测，通信的初始化，以及异步参数耗时的优化等，有用削减了集群的故障。与此一同，呈现故障后，还可以做到快速主动恢复。
- 与芯片/存储/网络协同优化，提高练习吞吐速度。这也是飞桨一直以来继续优化的方向。在这个维度上，飞桨结构充分发挥了核算硬件单机基础的数据潜能，集成了数据读取、混合精度、挑选性重复核算等核算战略，以及算子优化等办法，把核算的潜能充分地发挥出来。此外，还大幅提高了散布式的扩展功率，这儿面又涉及到多维混合并行战略，通信和核算的异步调度，以及流水线调度等一系列底层技能 。
- 与模型算法协同优化，提高收敛功率。特别是在大模型练习中，优化收敛功率和稳定性，可大起伏削减练习时刻，到达事半功倍的作用。
而在推理布置阶段，更是延展开了一系列的优化战略。
- 强壮的模型紧缩、量化办法。大模型的前向核算过程中，激活散布常常面对反常值比较大的问题。这导致量化的时分应战十分大。对此，飞桨提出了Shift-Smooth Quant办法，这个办法，可以让整个量化损失可以得到大幅减小，相应的整个模型作用也会得到提高。
- 迭代生成Token Generation的优化。咱们知道现在主流的大言语模型都是自回归模型，涉及到的迭代生成Token Generation的阶段是显著的访存密集型场景。对此，飞桨在这个阶段做了深化的混合量化，使得大模型的作用在访存受限的场景下也会更好。
- prompt变长输入的处理。在prompt输入端，飞桨也做了深化优化。因为模型的输入是变长的，一个batch内的样本长度散布或许差异很大。对此，飞桨针对这个变长首先推出了动态刺进的批处理技能，经过这个技能就可以更好地提高GPU的资源利用率，根据这个动态变化做好服务的调度。
除此之外，还有飞桨发起的硬件生态共创计划，与硬件同伴完成联合优化，才是一个大模型可以完成极限推理功能的保障。
经过这些硬核的底层技能支撑，得以构成了支撑大模型研制的大模型套件。真有用过飞桨开发套件的开发者不难发现，飞桨系的开发套件相对于学术界流行的Hugging Face PEFT等同类东西，其功能会有更大的抢先优势。
说到这儿，你或许想问，飞桨晋级这么大，文心一言也晋级这么大，作为开发者的咱们，开发范式是不是也该晋级一下了？
Comate
没错，在Coding问题上，这次WAVE SUMMIT还重磅发布了智能编程帮手ComateX和Comate Stack东西套件，完成了代码解说、代码生成、行间注释生成、单元测验用例等才能。
话不多说，直接上Demo：
**，时长01:17
因为最新发布的“文心一言”，代码才能提高起伏相当大，Comate系列产品也迎来如此大幅的晋级版。
它可以在代码研制的全周期做到帮你想、帮你写和帮你改。不只能做代码生成、解说，乃至还能主动生成注释、单元测验、文档、命令行和接口等。目前现已支撑了30多种编程言语和10多种IDE，乃至包含一些十分小众的编程言语。
现在，Comate产品现已在百度内部广泛运用，有超过100家合作同伴，处于老练商业化阶段。ComateX现已面向企业开发者敞开，登陆Comate官网请求试用:
comate.baidu.com/
或关注文心大模型或飞桨paddle paddle大众号，回复「Comate」请求。
听完这场硬核的WAVE SUMMIT发布会，笔者只能说：
我国的AI原生年代已至！
最后，贴上昨日WAVE SUMMIT上百度CTO王海峰的一张PPT：
未来，这张图，这句诗，或许会成为我国版AI原生年代的高度概括。
