新智元报导
编辑：编辑部
【新智元导读】Stability AI也有大言语模型了，现在已有3B和7B的版别。大言语模型的Stable Diffusion时间，是真来了。
大言语模型之战，Stability AI也下场了。
近来， Stability AI宣告推出他们的第一个大言语模型——StableLM。划要点：它是开源的，在GitHub上现已可用。
模型从3B和7B参数开端，随后会有15B到65B的版别。
而且， Stability AI还发布了用于研讨的RLHF微调模型。
项目地址：github.com/Stability-A…
虽然OpenAI不open，但开源的社区现已百花齐放了。曾经咱们有Open Assistant、Dolly 2.0，现在，咱们又有了StableLM。
实测体验
现在，咱们能够在Hugging Face上试试StableLM微调聊天模型的demo。
详细StableLM能做到什么程度，一看便知。
比方，你能够问它如何制造花生酱三明治时，它会给你一个杂乱、略显荒唐的食谱。
或许写一首神经网络与符号人工智能的史诗级说唱对决：
再或许写一封「吉利话邮件」（文本生成）：
以及，用C言语核算生命的含义（代码生成）：
不过，有国外的媒体记者亲测了一下StableLM，成果发现：在不苟言笑地胡言乱语这方面，它跟前辈ChatGPT比起来，也是不遑多让。
比方，假如问它2021年1月6日那天发生了什么？它会告知你：特朗普的支撑者操控了立法机关。
假如Stable LM预期的首要用途并不是文本生成，那它能够做什么呢？
假如拿这个问题亲自问它，它会说出这样一些套话，「它首要用作系统工程和体系结构中的决议方案支撑系统，也能够用于计算学习、强化学习等范畴。」
别的，Stable LM明显缺乏对某些灵敏内容的维护。比方，给它进行一下著名的「不要赞美希特勒」测验，它的答复也是令人大跌眼镜。
不过，咱们倒是不急着管它叫「有史以来最糟糕的言语模型」，究竟它是开源的，因而这个黑匣子AI答应任何人窥视盒子内部，查一查到底是哪些潜在原因导致了这个问题。
StableLM
Stability AI官方宣称：Alpha版别的StableLM有30亿和70亿个参数，之后还有150亿到650亿参数的后续版别。
StabilityAI还豪横地表明，开发者随便用。只需遵守相关条款，不管是查看、运用仍是改编根底模型，想怎样来怎样来。
StableLM功能强大，不光能够生成文本和代码，还能给下流运用供给技能根底。它是一个很好的范例，展示了小型、高效的模型通过适当练习就能够有足够高的功能。
早年间，Stability AI和非营利性研讨中心Eleuther AI一起开发过前期的言语模型，能够说，Stability AI积淀很深。
像什么GPT-J、GPT-NeoX和Pythia，这都是两家公司协作练习的产品，在The Pile开源数据集上练习完结。
而后续的更多开源模型，比方Cerebras-GPT和Dolly-2都是上面三兄弟的后续产品。
说回StableLM，它是在建立在The Pile根底上的新数据集上练习的，该数据集包含1.5万亿个token，大约是The Pile的3倍。模型的上下文长度为4096个token。
在即将发布的技能陈述中，Stability AI会发布模型的规划和练习设置。
作为概念验证，团队用斯坦福大学的Alpaca对模型进行了微调，并运用了最近的五个对话署理的数据集的组合：斯坦福大学的Alpaca、Nomic-AI的gpt4all、RyokoAI的ShareGPT52K数据集、Databricks labs的Dolly和Anthropic的HH。
这些模型将作为StableLM-Tuned-Alpha发布。当然，这些微调过的模型仅仅用于研讨，归于非商业性质。
后续，Stability AI还将会发布新数据集的更多细节。
其间，新数据集非常丰厚，这也是为什么StableLM的功能很棒。虽说参数规划现在来看仍是有点小（和GPT-3 1750亿个参数相比是这样的）。
Stability AI表明，言语模型是数字年代的核心，咱们希望每个人都能在言语模型中有发言权。
而StableLM的透明性。可拜访性、支撑性等特点也是践行了这个观念。
- StableLM的透明性：
表现透明性最好的方法就是开源。开发者能够深化到模型内部，验证功能、辨认危险，而且一起开发一些维护措施。有需要的公司或部分还能够就着自己的需求对该模型进行调整。
- StableLM的可拜访性：
日常用户能够随时随地在本地设备上运行该模型。开发人员能够运用模型来创立并运用硬件兼容的独立运用程序。这样一来，AI所带来的经济利益就不会被某几个企业瓜分，盈利归于全部日常用户和开发者社群。
这是封闭模型所做不到的。
- StableLM的支撑性：
Stability AI建立模型支撑用户们，而不是替代。换句话说，开发出来快捷好用的AI是为了帮助人们更高效地处理工作，供给人们的创造力、生产力。而非试图开发一个天下无敌的东西替代全部。
Stability AI表明，现在这些模型现已在GitHub发布，未来还会有完好的技能陈述面世。
Stability AI期待和广泛的开发者和研讨人员进行协作。一起，他们还表明将启动众包RLHF方案，敞开帮手协作，为AI帮手创立一个开源的数据集。
开源前驱之一
Stability AI这个姓名，对咱们来说现已是如雷贯耳了。它正是大名鼎鼎的图画生成模型Stable Diffusion背后的公司。
现在，跟着StableLM的推出，能够说Stability AI在用AI造福全部人的路上越走越远了。究竟，开源一向是他们的优良传统。
在2022年，Stability AI供给了多种方法让大家运用Stable Diffusion，包括揭露demo、软件测验版和模型的完好下载，开发人员能够随意运用模型，进行各种集成。
作为一个革命性的图画模型，Stable Diffusion代表着一个透明、敞开和可扩展的专有AI替代方案。
明显，Stable Diffusion让大家看到了开源的各种好处，当然也会有一些无法避免的害处，但这无疑是一个有含义的历史节点。
（上个月，Meta的开源模型LLaMA的一场「史诗级」泄漏，产生了一系列表现惊艳的ChatGPT「平替」，羊驼宗族像宇宙大爆炸一样噌噌地诞生：Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……）
不过，Stability AI也警告说，虽然它运用的数据集应该有助于「将根本的言语模型引导至更安全的文本散布中，但并不是全部的偏见和毒性都能够通过微调来减轻。」
争议：该不该开源？
这些天，咱们见证了开源文本生成模型井喷式的增加，由于大大小小的公司都发现了：在越来越有利可图的生成式AI范畴，出名要趁早。
曩昔一年里，Meta、Nvidia和像 Hugging Face支撑的BigScience项目这样的独立团体，都发布了与GPT-4和Anthropic的Claude这些「私有」API模型的平替。
很多研讨者严峻地批评了这些跟StableLM相似的开源模型，由于可能会有不法分子心怀叵测有利地势用它们，比方创立钓鱼邮件，或许协助恶意软件攻击。
但Stablity AI坚持认为：开源就是最正确的路。
Stability AI着重，「咱们把模型开源，是为了进步透明度和培养信任。研讨人员能够深化了解这些模型，验证它们的功能、研讨可解释性技能、辨认潜在危险，并协助制定维护措施。」
「对咱们模型的敞开、细粒度拜访，答应广大的研讨和学术界人士，开发出逾越封闭模型的可解释性和安全技能。」
Stablity AI的说法的确有道理。就算是GPT-4这样具有过滤器和人工审阅团队的业界顶尖模型，也无法避免毒性。
而且，开源模型明显需要更多的努力来调整、修复后端——特别是假如开发人员没有跟上最新的更新的话。
其实追溯历史，Stability AI从来没有逃避过争议。
前一阵，它就处于侵权法令案件的风口浪尖，有人指控它运用网络抓取的受版权维护的图画，开发AI绘图东西，侵犯了数百万艺术家的权利。
别的，现已有心怀叵测的人，使用Stability的AI东西，来生成许多名人的深度假造色情图片，和充满暴力的图片。
虽然Stability AI在博文中，着重了自己的慈善基调，但Stability AI也面临着商业化的压力，无论是艺术、动画、生物医学，仍是生成音频范畴。
Stability AI CEO Emad Mostaque现已暗示了要上市的方案，Stability AI去年估值超越了10亿美元，而且获得了超越1亿美元的风投。不过，据外媒Semafor报导，Stability AI「正在烧钱，但在赚钱方面发展缓慢。」
参考资料：
www.theverge.com/2023/4/19/2…
mashable.com/article/sta…
stability.ai/blog/stabil…
