西风 发自 凹非寺 量子位 | 公众号 QbitAI

Stable Diffusion也能生成视频了!

你没听错,Stability AI推出了一款新的文本生成动画东西包Stable Animation SDK,可支撑文本、文本+初始图画、文本+视频多种输入方法。

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

运用者能够调用包括Stable Diffusion 2.0、Stable Diffusion XL在内的一切Stable Diffusion模型,来生成动画。

Stable Animation SDK的强壮功用一经展示,网友惊呼:

哇哦,等不及想试试了!

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

目前,Stability AI疑似还在对这个新东西进行技术优化,不久后将揭露驱动动画API的组件源代码。

3D漫画摄影风,不限时长主动生成

Stable Animation SDK可支撑三种创立动画的方法:

1、 文本转动画:用户输入文prompt并调整各种参数以生成动画(与Stable Diffusion相似)。

2、文本输入+初始图画输入:用户供给一个初始图画,该图画作为动画的起点。图画与文本prompt结合,生成终究的输出动画。

3、视频输入+文本输入:用户供给一个初始视频作为动画的基础。经过调整各种参数,依据文本prompt生成终究的输出动画。

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

除此之外,Stable Animation SDK对生成视频的时长没有约束,可是长视频将需要更长的时间来生成。

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

Stability AI发布了Stable Animation SDK后,有许多网友共享了自己测验作用,让我们一同看下吧:

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式
Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式
Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

Stable Animation SDK能够设置许多参数,例如steps、sampler、scale、seed。

还有下面这么多的预设风格可挑选:

3D模型、仿真胶片、动漫、电影、漫画书、数码艺术、增强幻想艺术、等距投影、线稿、低多边形、造型胶土、霓虹朋克、折纸、摄影、像素艺术。

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

目前,动画功用API的运用是以积分计费的,10美元可抵1000积分。

运用Stable Diffusion v1.5模型,在默许设置值(512×512分辨率,30steps)下,生成100帧(大约8秒)视频将消耗37.5积分

默许情况下,每生成1帧,Cadence值设置为1个静止图画,可依据不同的动画形式挑选较低或较高的Cadence值。Cadence值的上限是动画中的总帧数,即至少生成一张静止图画。视频转视频的Cadence必须为 1:1。

官方也给出了一个示例,能够看出生成100帧规范动画的规范静止图画(512×512/768×768/1024×1024,30 steps), 随着Cadence值变化,积分的运用情况:

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

简略来说,受参数、时长等各种因素的影响,生成视频的费用并不固定。

作用和价格我们都了解了,那如何装置并调用API呢?

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

要创立动画并测验SDK的功用,只需要两个过程即可运转用户界面:

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

在开发应用程序时,需要先设置一个Python虚拟环境,并在其间装置Animation SDK:

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

具体运用说明书放在文末啦!

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

越发火热的视频生成

最近,视频生成范畴变得越来越热闹了。

比方,AI视频生成新秀Gen-2内测著作流出,网友看完著作直呼:太不可思议了!

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

Gen-2的更新更是一口气带来了八大功用:

文生视频、文本+参阅图画生视频、静态图片转视频、视频风格迁移、故事板(Storyboard)、Mask(比方把一只正在走路的小白狗变成斑点狗)、渲染和个性化(比方把甩头小哥秒变海龟人)。

还有一位名叫Ammaar Reshi的湾区设计师用ChatGPT和MidJourney两个生成AI模型,成功做出一部蝙蝠侠的动画小电影,作用也是非常不错。

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

自Stable Diffusion开源后,一些开发者经过Google Colab等形式共享了各种魔改后的功用,主动生成动画功用一步步被开宣布来。

像国外视频特效团队Corridor,他们根据Stable Diffusion,对AI进行训练,终究能让AI把真人视频转换为动画版本……

大家在对新东西的呈现兴奋不已的一起,也有网友对Stable Animation SDK生成的视频所展示出的作用宣布质疑:

这与 deforum有什么区别?没有时间线都不连贯,只要非常松懈的一帧接一帧的图画。

Stable Diffusion动画版上线!十五种风格预设,支持文本图像视频多种输入方式

那么你玩过这些东西了吗?感觉作用如何?

传送门:
platform.stability.ai/docs/featur… SDK运用说明书)

参阅链接:
[1]www.youtube.com/watch?v=xso…
[2]twitter.com/_akhaliq/st…
[3]stability.ai/blog/stable…