• 作者：韩信子@ShowMeAI
• 深度学习实战系列：www.showmeai.tech/tutorials/4…
• 本文地址：www.showmeai.tech/article-det…
• 声明：版权所有，转载请联系平台与作者并注明出处
• 收藏ShowMeAI检查更多精彩内容

导言

人工智能图画生成器现在风靡一时。虽然 Dall-E2、 MidJourney和 Stable Diffusion现在处于中心舞台，可是百度开发的开源 AI 图画生成器 ERNIE-ViLG 也在互联网上流传。

ERNIE-ViLG 是什么

ERNIE 代表经过常识整合增强表示——视觉语言生成。它是一个统一的生成预练习结构，用于运用 Transformer 模型进行双向图画文本生成。

需求明晰的是，ERNIE 并不是 Stable Duffusion 的一个变体版别，尽管这两种模型都是开源的。根据 ERNIE论文，ERNIE-ViLG 2.0 是一种改进的文本到图画分散模型，具有常识增强的去噪专家组合，以结合有关视觉场景的额外常识，并在不同过程中解耦去噪能力。

ERNIE-ViLG 运用办法

现在能够经过 huggingface 免费访问该模型。咱们能够在 ERNIE-ViLG Demo 检查工具实例。

界面十分简单:能够看到经典的提示框，各种艺术风格的挑选，以及图画分辨率。在艺术风格方面，ERNIE 供给了一些有趣的挑选。这让我想起了 Dream by WOMBO 中的一个类似功用。

让咱们用提示“An astronaut riding a horse in space”来生成样本。

该应用程序生成六张分辨率为 1024×1024 的图画。

ERNIE 的研究人员声称，他们的办法比 Dall-E2 和 Stable Diffusion 产生更明晰、更天然的细节。

真的吗？现在让咱们测验将艺术风格更改为“油画”。

这些结果自身都十分冷艳。

质量上，ERNIE 能够与 Dall-E2 和 Stable Diffusion 相媲美。可是，它在一致性方面体现不佳，就像在上面说到的，其间两个结果中的马无处可寻。这可能是练习ERNIE的数据集较小所致。

不过，假如仔细考虑数据集的巨细，练习了 14.5 亿张图画的 ERNIE 与 MidJourney、Google Parti 等大型竞争对手的距离并不大。

也许开发人员找到了一种优化算法的办法，使其能够在较小的数据集上运行杰出。我假设假如模型是在更大的数据集上练习的，现有的限制就会消失。

需求特别注意的是，ERNIE 是用中文开发的。这意味着，在开始图画生成过程之前，必须将英文提示翻译成中文。当然，运用中文的宝宝能够纵情玩耍~

这里有更多示例结果。

上图提示文字：“戴眼镜的猫”风格“油画”

上图提示文字：“五官端正的绘画女生”

API 访问 ERNIE-ViLG

您能够经过 API 访问 ERNIE。假如您想测验运用 API，请按照这个 GitHub 上的指南进行操作。

示例 API 调用如下所示。

def generate_image(
          text_prompts:str,
          style: Optional[str] = "探索无限",
          topk: Optional[int] = 6,
          output_dir: Optional[str] = 'ernievilg_output')

• text_prompts：输入提示
• style ：生成图画的风格
• topk：生成图画的数量（最多 6 个）
• output_dir：保存输出图画的目录

ERNIE 的运用指南还有一个建议列表，可协助您找到结合运用款式和修饰符的最佳方法。

• 【作图规则】Prompt构建是文本符合逻辑的组合，有序且丰厚的描述能够不断提高画面作用
• 【新手入门】不知如何输入Prompt？点击示例，体会文生图的魅力，参阅教程，逐渐进阶~
• 【风格生成】试试增加 “国潮”、“国风”等，感受中国风的魅力
• 【风格生成】试试混合两种代表性的风格，例如“赛博朋克，扁平化规划”、”皮克斯动画，赛博朋克”
• 【人像生成】增加“仙鹤、月亮、楼阁、小屋、街道、玫瑰、机械”，画面会更丰满
• 【人像生成】增加“精美面庞、唯美、cg感、细节明晰“等，人物刻画会更详尽
• 【风格生成】增加“扁平化风格，logo”等，能够规划出各类图标等，例如 “猫猫头像，扁平化风格”
• 【风格生成】指定颜色，或增加“烟雾缭绕”、“火焰”、“烟尘”、“花瓣”，生成画面的气氛感更丰满
• 【构思生成】发挥想象力，例如：“中西混搭”、“泰迪熊唱京剧”、“米老鼠吃火锅”
• 【风格生成】“水彩”，“水墨”与古诗组合，画面意境会有提高~
• 【风格生成】想要日系头像和拟人化动物？试试关键词“日系手绘”、“治好风”
• 【风格生成】增加“pixiv”，生成二次元或者动漫的画质更冷艳

参阅资料

• Dall-E2
• MidJourney
• Stable Diffusion
• ERNIE-ViLG
• ERNIE论文
• ERNIE-ViLG Demo
• Dream by WOMBO
• PaddleHub ERNIE-ViLG GitHub