昨天晚上 11 点,Stable Diffusion 的母公司 Stability AI 重磅宣告,正式开源一款全新的大言语模型:StableLM。
该模型的 Alpha 版别有 30 亿和 70 亿参数,并将于后续敞开 150 亿和 650 亿的参数模型。
Stability AI 的创始人 Emad Mostaque 自 2020 年从 OpenAI 团队脱离后,一向秉承着开源敞开的理念,持续推出了多款 AI 开源模型。
其中影响力最广的,便有大家所熟知的文本生成图画模型 Stable Diffusion。
自上一年 8 月发布以来,Stable Diffusion 在 AIGC 领域招引了大量用户,也使得其母公司的估值水涨船高,上一年 10 月便融资了 1.01 亿美元。
今日 3 月份时,网络上传出 Stability AI 行将敞开新一轮融资,假如顺利,公司估值或将达到 40 亿美元。
本次开源的 StableLM,根底功用跟 GPT 一样,支撑生成文本和代码,在未来能够给不少应用提供根底技能支撑。
在 GitHub 项目中,StableLM 提供了几个根底演示,包含谈天、撰写信件、小说创造、代码编写等功用。
下面是一个简单的信件示例(原文是英文,我用 AI 将其自动翻译成中文):
GitHub:github.com/Stability-A…
StableLM 的技能经验,来自于非营利性研究中心 EleutherAI 开源早期的言语模型。
这些言语模型包含 GPT-J、GPT-NeoX 和 Pythia 套件,它们都是在 The Pile 开源数据集上做的练习。
虽然 StableLM 也 是基于 The Pile 数据集做的练习,但实践练习数据集要起初设定的大 3 倍,里面总共包含了 1.5 万亿个 token。
该项目基于 CC BY-SA 4.0 答应发布,这也就意味着,你能够将 StableLM 应用于商业产品。
有鉴于 Stable Diffusion 成熟的技能工程与开源项目运营才能,我对 StableLM 的远景较为看好。
假如 StableLM 能做好言语模型,该技能也将反哺至 Stable Diffusion,从而构建出更好的社区生态。