Stable Diffusion最强版别，来了！
刚刚，SDXL 1.0正式发布，可免费在线试玩。
作用上，无论是以假乱真的写实大片：
超现实的熊猫喝啤酒：
仍是赛博朋克漫画，都十分nice~
Stability AI表明，SDXL 1.0能生成愈加明显精确的颜色，在比照度、光线和阴影方面做了增强，可生成100万像素的图画（10241024）。
并且还支持在网页上直接对生成图画进行后期编辑。
（有一股和Midjourney、Firefly打擂台的味儿了）
网友们现已按捺不住上手试玩了~
和根底Stable Diffusion相比，SDXL 1.0生成成果愈加精确和逼真。
并且官方表明，提示词也能比之前更简略了。
这是由于SDXL 1.0的根底模型参数量达到了35亿，了解能力更强。
比照根底版Stable Diffusion，参数量只有10亿左右。
由此，SDXL 1.0也成为当时最大规划的敞开图画模型之一。官方甚至直接说这便是世界上最好的敞开图画模型
话不多说，咱们来上手体验了~
把马斯克印在青花瓷上
SDXL 1.0在操作上很快捷，直接输入prompt即可，还能从下面勾选风格、尺度参数等。
一次生成默认是出4张图，假如不满意还能够点下方“加号”让它继续画。
官方介绍说，现在让SDXL 1.0生成大作，无需再参加“创造”这种提示词了。
让它生成一幅日漫风格的图画，画风十分贴合，并且在光影的处理上也愈加天然了。
1990s anime low resolution screengrab couple walking away in street at night
或者是一幅风景照？也能以假乱真了。
甚至是让马斯克站在中式庭院里，昂首斜望着天空……
Elon Musk in an ancient Chinese palace
或者是把苹果收购了？
在「WWDC」上，他举着全新款iPhone向人们展现，身边还围满了记者和粉丝（doge）。
Elon Musk releasing new iPhone at WWDC
除了这些老马的洋葱新闻之外，绘画风格的著作作用也不错。
左边的是齐白石水墨风格，而右边是一幅漫画。
左：Elon Musk delivering a speech, ink painting, Qi Baishi style
右：Elon Musk comic
除了绘画，也能够把老马放进咱们的元青花。
Elon musk in the shape of Yuan Dynasty Blue and White Porcelain
上面展现的这些「老马的故事」，用的prompt都比较简略。
但从作用并没有由于提示词简略而拉胯，这也与官方的说法相印证。
不过咱们仍是想看看，假如用愈加杂乱精美的prompt，会是什么样子？
咱们找到了Midjourney创造的一张老马在苏联担任汽修工人的珍贵相片，重新喂给MJ，让它生成个prompt。
MJ生成了下面这样的prompt，咱们就用它来测试SDXL：
Elon Musk(这儿MJ生成的是a man) standing in a workroom, in the style of industrial machinery aesthetics, deutscher werkbund, uniformly staged images, soviet, light indigo and dark bronze, new american color photography, detailed facial features
风格完全符合咱们的预期，细节也还不错。
再来一个杂乱prompt的图作为收尾，相同是MJ依据此前的著作生成后喂给SDXL。
elon musk eating food with chopsticks, in the style of peter coulson, cross-processing/processed, pinhole photography, herb trimpe, james tissot, transavanguardia, spot metering
左边是SDXL的著作，右边是MJ的原版，我们能够比照一下。
提示词相同支持中文，不过好像会在给出成果中倾向于国风，精确性或许也会受到影响。
比如输入“一只山君在海边”后，意外给出了一个国风妹子。
作用我们都现已看到了，那么SDXL生成图片的速度如何呢？
对于免费用户来说，时间首要花费在排队上了，不过也不会等待太久。
在5.5秒的时间内，排队人数从160减少到了99。
除了生成图画外，SDXL还供给了很多后期编辑功用。
详细来说，包含去除布景、细节处理、画幅扩增等等。
这些功用是SDXL所在的Clipdrop渠道上已有的，而SDXL能够一键将生成的图片传入对应模块。
这儿咱们挑选布景消除功用展现一下，能够看出边缘的细节简直没有什么漏洞。
现在，SDXL的免费使用额度仍是比较高的，登录后每个账户每天可生成400张（需要排队）。
月付的价格是9美元每月，年付则相当于7美元（约50元人民币）每月，包含了1500张每天的SDXL额度，且无需排队。
不过不同区域的价格好像也有所区别，比如阿根廷的年付价格平摊到每月是742比索（约合19.4元人民币或2.7美元）。
此外，由于付费版别实际上是Clipdrop渠道的Pro订阅，所以也包含了该渠道的其他功用。
除了Pro账户，还有API版别可供开发者使用（能够拜访Stability AI、Amazon等渠道）。
敞开图画模型中的“最大杯”
在最新博客中，Stability AI介绍了SDXL 1.0的更多技术细节。
首要，模型在规划和架构上都有了新突破。
它创新性地使用了一个根底模型（base model）+一个细化模型（refiner model）。
二者的参数规划分别为35亿和66亿。
这也使得SDXL 1.0成为现在规划最大的敞开图画模型之一。
Stability AI创始人莫斯塔克（Emad Mostaque）表明，更大规划的参数量能让模型了解更多概念，教会它更深层次的东西。
一起在SDXL 0.9版别还进行了RLHF强化。
这也是为什么现在SDXL 1.0支持短提示词，并且能辨明红场（the Red Square）和一个赤色的广场（a Red Square）。
在详细合成进程中，第一步，根底模型发生有噪声的latent，然后由细化模型进行去噪。
其间根底模型也能够作为独立模块使用。
这两种模型结合能生成质量更好的图画，且不需要消耗更多计算资源。
官方介绍SDXL 1.0能够运行在8GB VRAM的消费级GPU上，或者是云端。
除此之外，SDXL 1.0在微调也有了提高，能够生成自定义LoRAs或者checkpoints。
Stability AI团队现在也正在构建新一代可用于特定使命的结构、风格和组合控件，其间T2I/ControlNet专门用于SDXL。
不过现在这些功用还处于beta测试阶段，后续能够重视官方更新。
总结来说，文生图都是一个逐渐迭代的进程，SDXL 1.0的方针便是让这个进程愈加简略。
莫斯塔克表明，现在只需要5-10张图片，就能快速微调模型。
从用户反应中也能看到，相较于Stable Diffusion，SDXL 1.0更能让我们满意。
实际上，从今年4月以来，Stability AI就发布了SDXL最早的测试版。
6月份开始进行内测，前段时间发布了0.9版别，当时就预告了会在7月发布一个敞开版别，即最新的1.0版别。现在相关代码权重现已发布在GitHub上。
并且Stability AI机器学习负责人表明，相较于SDXL 0.9，1.0版别降低了对算力的需求。
感兴趣的童鞋快去试玩吧~
试玩入口：
clipdrop.co/stable-diff…
GitHub：
github.com/Stability-A…
参考链接：
[1]stability.ai/blog/stable…
[2]venturebeat.com/ai/stabilit…
[3]techcrunch.com/2023/07/26/…
—完—
