近日，文本生成图画模型Stable Diffusion背后的公司Stability AI宣告取得了1.01亿美元超额融资，估值达10亿美元，这家依据开源社区的“草根”企业的风头一时刻乃至盖过了业界顶级研讨机构OpenAI。
本文作者以为，尽管开源项目存在商业形式、开源答应协议等方面的挑战，但经过杰出开源社区的驱动，AI项意图技能开展、应用广度和发明空间都有了意想不到的开展，正如开源“吞噬”软件1.0，“开源AI”运动将在软件2.0年代不行阻挡。OneFlow社区对此进行了编译。
作者｜swyx
翻译｜胡燕君、贾川
文本转图画模型的开展周期历时数年：
- 2020年7月：OpenAI发文介绍Image GPT模型，将言语模型应用到图画范畴。
- 2022年3月：AI图画生成平台Midjourney启动Beta版别测验。
- 2022年4月：OpenAI宣告答应必定数量的用户对其AI图画生成东西DALL-E 2 进行“研讨性试用”。
- 2022年5月：Google以论文形式发布其文本-图画生成模型Imagen，Imagen由PyTorch完成。
- 2022年7月：OpenAI 经过UI/API敞开DALL-E 2进行揭露测验，参加公测的用户须先进入等候名单。
- 2022年7月：Midjourney经过Discord通讯平台发布消息表明即将进行揭露测验。
- 2022年8月：文本-图画生成模型Stable Diffusion发布，这是一款依据OpenRAIL-M答应的开源模型。
- 2022年9月：OpenAI撤销DALL-E 2的等候名单。
GPT-3从发布到被复制历时10个月：
- 2020年5月：OpenAI以论文形式揭露GPT-3，并在随后的6月发布了未揭露的Beta版API。
- 2020年7月：非盈利开源研讨安排EleutherAI建立，成为OpenAI的替代者。
- 2020年9月：Microsoft取得GPT-3的独家授权。
- 2021年1月：EleutherAI发布其800G数据集The Pile。
- 2021年3月：EleutherAI发布了别离含13亿和27亿参数的两版开源GPT-Neo模型（GPT-Neo是对GPT-3的克隆版）。
- 2021年11月：OpenAI撤销GPT-3的等候名单，开发人员能够直接报名运用其API。
- 2022年5月：Meta发布大型言语模型OPT-175B，供研讨人员运用，还发布了模型日志和开源答应证明。
- 2022年6月：俄罗斯互联网巨头Yandex发布了YaLM-100B，这是一个依据Apache-2答应的类GPT开源模型。
- 2022年7月：HuggingFace揭露了BLOOM-176B，一个依据RAIL答应证明的大型言语模型。
GPT-2从发布到被复制历时6个月：
- 2019年2月，OpenAI宣告GPT-2诞生，为了避免模型遭到不良运用（如被用于制造虚伪新闻等），其时决议不将模型完全开源；3月，OpenAI抛弃“非盈利机构”的定位，建立OpenAI LP（有限合伙公司），声称进入“有限盈利”运营形式。
- 8月，两名核算机硕士复制出GPT-2并将其对外揭露，称为OpenGPT-2。
- 11月，经过慎重的分阶段逐渐发布，OpenAI总算完全开源了含15亿参数的GPT-2模型。
上述时刻线已经过高度精简，实践开展史还可追溯到2015年提出的扩散模型（Diffusion Model）、2017年提出的Transformer模型，以及更早之前对生成对抗网络（GANs）的研讨。
风趣的是，2022年9月，OpenAI依据MIT答应揭露了其Whisper语音转文本模型，而且不设置付费API。当然，语音转文本功用遭到不良运用的或许性较低，所以此类模型的开源危险也更低，但也有观点以为，OpenAI此次的开源决议是遭到Stable Diffusion开源后爆红的影响。
1
Dreambooth：开源社区掌舵项目开展
一个先进的开源社区能够发挥魔法般的作用。专业的研讨团队或资金充足的团队或答应以开宣告很好的根底模型，但只有开源社区才干更好地将各种用例产品化，而且优化模型的实践落地运用。
最能表现这一点的比如是Dreambooth的开展。Dreambooth是一个文本转图画模型，支持经小样本学习（Few-Shot Learning）后生成精调图画，生成的图画既可保存主体的精细特征，又能为主体切换任意布景。
Dreambooth表现了文本转图画模型的理想优化方向，由于它不止需求用户下载模型直接运转，还需求用户依据样本图画进行精细练习，但原始端口需求的内存太大，大多数用户的练习设备都无法满意条件。
2022年9月，Corridor Digital的一则YouTube视频展示了Dreambooth的奇特功用，视频运用文本-图画生成模型依据视频创作者本人照片生成特效人物图画，很快爆火 （视频：
www.youtube.com/watch?v=W4M…
这是Dreambooth的开展历程：
2022年8月26日，Dreambooth宣告诞生；12天后发布了开源端口；又过了25天后，练习Dreambooth的所需内存空间下降了79%；10月8日，Dreambooth现已能在8GB GPU上练习。
对Dreambooth的优化大多数由Xavier Xiao和Shivam Shrirao经过GitHub完成，意大利工程师Matteo Serva也供给了协助。Xavier Xiao来自新加坡，博士主攻生成模型与优化，现就职于AWS AI；Shivam Shrirao，核算机视觉高级工程师，现居印度。这两位都并非Dreambooth原始团队的成员。
现在，简单优化的当地都已优化完毕，所以有人开端忧虑：持续优化下去的投入产出比会越来越低，但后来这种忧虑不攻自破。8月份时，Stable Diffusion能够在内存为5-10GB的GPU上运转——商用GPU的内存一般为6-12GB，苹果产品都有一致内存（Unified Memory）。到了9月，Stable Diffusion已能在iPhone XS上运转。
这应该是一切开源AI模型都想经过优化到达的目标。假如能够在小设备上运转，图画生成将不再受限于高昂的云核算费用和微薄的赢利，能够得到更广泛的运用。
2
研讨人员做不到，但开源能做到的
在现在的三大新兴文本转图画模型中，Stable Diffusion诞生得最晚，但由于具有开展杰出的开源社区，它的用户重视度和应用广度都超越Midjourney和DALL-E。
这启示咱们，假如开源其他范畴的AI模型（如音乐、生物、言语模型），将相同能够发明新机遇。
在技能水平上，开源社区能够带来以下几方面的改进：
-
完善文档
- Stable Diffusion原始版别的README文档对新手而言不太友爱
- 所以开源社区合作制作了：
- 两个版别的攻略：rentry.org/GUItard；htt…
- 博客文章
- 推特帖
- YouTube视频教程
- Google Colabs教程
- 网页注释和图解
同享提示词
- （注：提示词即向文本转图画模型输入的文本。）提示词工程（Prompt Engineering）是一门技能活，GPT-3言语模型发布三年以来，不少人总能经过改动提示词安排形式让模型发生令人惊讶的输出成果。这意味着，大型言语模型还存在很大的潜在探究空间，已然它能供给出乎意料的输出成果，那么它也有或许完成超乎咱们想象的功用。
- 每个文本转图画东西的用户社区都有约定俗成的同享提示词的方法，这样咱们就能够构建提示词展览集，然后大幅减少提示词搜寻时刻（从>30秒下降到<300毫秒，下降整整两个数量级！），并提高提示词工程的前进速率。
- 这也有助于社区协力解决各种技能难题：例如，怎么生成逼真的手部图片和为什么否定式提示词的作用更好（否定式提示词即在提示词中描绘用户不希望生成什么。）
创立新UI，提高模型可及性
-
Stable Diffusion是Python脚本，用户能够创立自己的UI来满意自己的需求，不必局限于Stability AI的Dreambooth（注：Stability AI是Stable Diffusion的研发公司）。
-
AUTOMATIC1111成为Stable Diffusion用户社区常用的网络UI，它具备多种功用，集结了社区成员发现的运用经验和技巧。
-
机器学习社区倾向于运用Windows，因此开源社区想了各种方法让Stable Diffusion能够在M1 Mac乃至 iPhone上运用（如前文比如所述）。
-
Stable Diffusion的UI通常是独立的APP，但新的运用形式能够将Stable Diffusion植入Photoshop、Figma、GIMP乃至VR，让用户能更自由地将Stable Diffusion融入自己的工作流。
经过扩展现有功用发明新用例
- 我不清楚Inpainting和Outpainting功用的开始发明者是谁，DALL-E的官宣文章中有所提及，但直至呈现开源UI后，这两个功用才变得非常遍及。
- 更多功用例如：超高清outpainting、3D worlds。
- 另一种成熟的创新方法是与其他东西/技能混合，比如包含：
- “反向提示词工程”，即依据图画生成提示词 （ CLIP Interrogator便是一个这样的东西）。
- 运用txt2mask增强Inpainting。
- 各种后期处理进程，如Real-ESRGAN, TECOGAN, GFPGAN, VQGAN, 以及运用automatic1111中的hires fix” 解决图画中的重叠问题等。
- 创立GRPC 服务器，用于与Stability AI的通信。
- 为向新模态扩展做准备，如txt2music和music2img。
优化中心
- 如前所述，开源社区成功将Stable Diffusion和Dreambooth的所需内存最小化。
- 还将Stable Diffusion提速50%。
此外我还想说的是，人工智能和机器学习范畴大多运用Python言语，对散布机制而言非常不安全。所以，在开源AI崛起的一起，咱们也需求“安全的开源AI”。
3
开源AI的未来
这整个进程不禁让咱们想起软件1.0是怎么被开源“席卷”的。
- 版别控制：从Bitkeeper到Git
- 言语：从Java东西链到Python、JavaScript和Rust
- IDE：从“有许多不错的IDE”到VS Code占据了>60%的商场份额
- 数据库：从Oracle/IBM到Postgres/MySQL
Anders Hejlsberg是Turbo Pasca、TypeScript等五种编程言语的创立者。他曾说过如下闻名言辞 ：在未来，编程言语假如不开源，就无法取得成功。现在，开发所需的东西栈越来越多，相信你也会宣告相同的感叹。
因此，咱们很简单联想到软件2.0、软件3.0或许也会被开源“吞噬”，但一起还有一些问题没有解决：
问题1：经济激励
对于有经济脑筋的人来说，将根底模型进行开源发布有违他们的直觉。练习GPT-3的本钱大约在460万美元到1200万美元之间，其中不包含人力本钱和试验本钱。即使是声称练习本钱只有60万美元 （Stability AI的创始人Emad表明，实践本钱要比这低得多） 的Stable Diffusion，也不行能在没有收回出资的情况下进行开源。
看看OpenAI经过API变现的进程，每个人都能够理解AI经济怎么形成：
模型研讨与模型根底设施的价值/赢利孰大孰小还有待商榷，上图暂时把它们设置为大约持平。
Stability AI的既定目标是成为非盈利性参加者，这就使它压低了具有专有根底模型研讨的经济价值，但一起这能够扩展AI的总TAM（Total Addressable Market，总可用商场）：
这也表现了施振荣提出的职业价值散布微笑曲线模型。Ben Thompson也对此进行了广泛评论。
还有一个悬而未决的问题是：Stability AI计划怎么融资，9月取得的1亿美元的A轮融资为Stability AI赢得了喘息时刻。但在Stability AI的盈利形式明晰之前，其生态系统都不会实在稳定下来。
对此，Emad回应：“咱们的商业形式很简单，规划和服务都与普通的COSS（Commercial Open Source Software，商业开源软件）类似，仅仅在增加附加值方面会有一些曲折。”
问题 2：开源答应
依据开源铁杆粉丝的说法：咱们对“license”这个词的理解有误。严格来说，一个项目只有具有了一个由OSI同意的开源答应证，才干算是开源（OSI同意的开源答应证共有几十个）许多所谓的“开源”AI模型或衍生品都没有开源答应，例如，以下项目都疏忽了答应证这个重要问题：
- AUTOMATIC1111/stable-diffusion-webui#24
- divamgupta/diffusionbee-stable-diffusion-ui#5
- breadthe/sd-buddy#20
Stable Diffusion模型是以新的CreativeML Open RAIL-M答应证发布的，它规则了模型权重的运用规范（模型权重便是花费60万美元练习所获的中心成果），其中部分内容与OSI认证的答应证相同，但用例约束方面的内容则不相同。假如你曾经与法令部门和OSI的人打过交道就知道，这个答应很或许不被认可，而且由于没有法令先例可依，关于这个答应证的有效性议论纷纷。
Stability AI现已清楚表明能够将他们的产品用于商业意图，乃至揭露支持Midjourney运用Stable Diffusion。但假如有一天，开源产品的运用危险比现在高出1000倍，法令细节的重要性就会显现。
HuggingFace的AI顾问Carlos Muoz Ferrandis表明：“Meta发布了OPT175（大型言语模型）、BB3（谈天机器人）和 SEER（核算机视觉模型），其答应证类似于RAIL（包含用例约束）而且仅用于研讨意图（依据不同的模型挑选不同的答应）。
OpenAI的Whisper语音识别模型的模型、权重和代码都依据简单宽松的MIT答应证进行开源。
Emad表明：“除了Stable Diffusion之外，Stability AI支持的一切模型都依据MIT答应发布，包含耗费了120万个A100小时练习出来的的OpenCLIP模型。”
问题 3：“开源”究竟是什么？
至此，本文都还没说到：“敞开源代码”究竟意味着什么。
在典型的软件1.0布景下，“开源”意味着代码库是敞开的，但不必定揭露了根底设施的设置细节，或许所堆集的/代码操作的数据。换言之，敞开代码并不代表敞开根底设施细节或敞开数据（在实践中，开源社区会希望开源主体发表一些关于怎么自托管（self-host）的根本攻略，但这也并非强制要求）。
跟着软件2.0的开展，数据搜集变得非常重要，乃至开端主导代码（代码则被“降级”为模型的骨架）。像ImageNet这样的敞开数据集协助练习了整整一代的ML工程师，它还促成了Kaggle竞赛的兴起，以及ImageNet挑战赛自身（挑战赛中诞生的AlexNet和CNN将整个AI范畴面向深度学习）。
此外，还呈现了Numerai平台，它经过半同态加密，将实在的金融数据加密，数据科学家能够依据这些“表面无意义”的加密数据，练习出猜测模型，用于金融出资——尽管不是严格意义上的敞开，但也满意敞开，能够让数据科学家在上面赚点外快。不过，惯常的做法依然是不揭露模型权重，由于权重是练习得出的最有价值的东西。
跟着软件3.0和Chinchilla模型所验证的缩放规律的呈现（该规律提醒了模型性能与参数量、数据集大小和核算量之间的联系，可用于指导大型模型的练习），大型言语模型和根底模型就成了代表人类历史上对于单一大型语料库进行的一次大出资。
“开源AI”运动正经过以下方面推进技能的前进：
- 开源数据集：例如，LAION-5B和The Pile。这些数据集已针对动漫图站Danbooru上的资料、日语、中文和俄语进行了修改。
- 开源模型：通常以研评论文的形式发布——假如供给满意的细节，外部人员就能够复制出这个新模型，就像复制GPT3和Dreambooth相同。
- 开源权重： 这是由HuggingFace的BigScience项目（Bloom模型的发布者）建议的新运动，Stability AI的文本转图画模型以及OpenAI的Whisper模型也接过了开源权重的大旗（开源权重的经济性问题在前文的“问题1”中已做评论）。
- 开源接口：答应直接访问代码，运用户能够修改和编写他们自己的CLI、UI等等，而不像OpenAI的GPT3那样，只供给一个API来调用。
- 开源提示词：用户（如Riley Goodside）和研讨人员（如Aran Komatsuzaki）分享了提示词技能方面的打破，以解锁根底模型的潜在才能。
开源AI层级根本如此，确切次序或许依据实践情况会有所不同。
4
开源人工智能研讨所？
OSI设立之时或许没有考虑到“开源”AI所触及的上述方方面面，而开源AI文化的基石之一是建立一个满意开源社区希望、具备规范和法令先例的可信规范。或许Hugging Face和Stability AI能够抓住机会添补这一空缺，又或许这样的规范现已诞生了，仅仅我还没有发现。
（本文经授权后由OneFlow编译发布，原文 ：lspace.swyx.io/p/open-sour… 译文转载请联系OneFlow取得授权。）
欢迎下载体会 OneFlow v0.8.0 最新版别：*
github.com/Oneflow-Inc…*
