作用演示

先看作用，感兴趣的能够继续读下去。

没有找到能够上传视频的地方，咱们翻开这个链接能够看到：www.aliyundrive.com/s/CRBm5NL3x…

根本办法

搞一张相片，搞一段语音，组成相片和语音，同时让相片中的人物动起来，特别是头、眼睛和嘴。

语音组成

语音组成的办法许多，也比较成熟了，咱们能够挑选自己便利的，直接录音也能够，只需能生成一个语音文件就行了。

这儿共享一个文字转语音的东西：ttsmaker.cn/，不必注册不必花钱，运用起来很简单。（广告时刻：目前国内的AI资源也很丰富了，我做了一个汇总：萤火AI大全，不必特殊网络设置，快速找到想用的AI东西）

如下图所示 ：输入你的文字，挑选播音员，填写验证码，点击转化按钮。

只需3步，使用Stable Diffusion无限生成AI数字人视频

生成速度挺快的，然后在左边这儿能够试听和下载。

只需3步，使用Stable Diffusion无限生成AI数字人视频

相片生成

这儿介绍的办法需求运用比较实在的相片，假如太二次元了，视频人脸的作用会比较差。咱们能够运用自己实在的相片，也能够运用Stable Diffusion生成一张，也能够运用图生图稍微改造下自己的相片，总之要尽量实在一些。

其他这张相片尽量正面一些，侧脸生成的视频或许会出现头和身体拼接不太好的情况，所以假如有证件照是最好的。

我这儿演示生成一张实在相片，看AI生成的美女都有些厌倦了，今天咱们生成个帅哥。

（1）生成东西运用 Stable Diffusion WebUI，模型挑选 realisticVisionV20，这个模型生成的图片看起来比较实在。

只需3步，使用Stable Diffusion无限生成AI数字人视频

提示词：best quality, front photo of a young man, chinese, portrait,black t-shirt, short hair, (looking at viewer), Sense of technology, in an office, computers, screen, books, upper body,

反向提示词： easy_negative, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),

（2）采样器这儿挑选DPM++ 2M SDE Karras，挑选其他也没问题，只需生成一张人物相片就能够了。

采样步数依据采样器挑选，这儿是40，主张20-40，以实践出图作用为准。

尺度这儿挑选竖版，放到手机里会比较合适。

生成次数：主张先把提示词写好了，然后一次多生成几张，从里面挑选最好的，节省时刻。

只需3步，使用Stable Diffusion无限生成AI数字人视频

（3）这儿我挑选一张自认为看起来还不错的图片，把这张图下载下来备用。

只需3步，使用Stable Diffusion无限生成AI数字人视频

视频组成

这是最关键的一步，这儿还是运用Stable Diffusion WebUI，不过只是运用其中的一个插件，这个插件的姓名便是SadTalker。

SadTalker是Github上开源的，首要成员也都是国内的技术大佬，地址：github.com/OpenTalker/…

这儿默许咱们都装置好Stable Diffusion WebUI了，假如还没装置过的朋友，主张去AutoDL上租一个服务器体会下，便利不贵，挑选A5000规格的就差不多了，装置教程网上应该挺多的，这儿就不啰嗦了，还不会的能够联系我。

关于SadTalker插件的装置办法我这儿介绍两种。

装置办法一

合适访问Github或许外网比较顺畅的用户，因为需求主动下载许多东西。

在SD WebUI中通过扩展插件页面装置，如下图所示：

只需3步，使用Stable Diffusion无限生成AI数字人视频

这个插件需求下载的文件许多，有的文件还比较大，请耐心等候。假如不确定是不是出问题了，能够看看控制台输出的内容，有没有过错。

装置完了，不要忘了重启Stable Diffusion，要整个重启，不要只重启WebUI。

装置办法二

合适访问外网不太便利的用户，把这个插件需求的文件通过其他办法提前下载好，比如迅雷下载，只需上传到指定的目录就行了。

  • 主程序：

放到 stable-diffusion-webui/extensions/SadTalker

github.com/OpenTalker/…

  • 视频模型：

放到 stable-diffusion-webui/extensions/SadTalker/checkpoints

github.com/OpenTalker/…

github.com/OpenTalker/…

github.com/OpenTalker/…

github.com/OpenTalker/…

  • 修脸模型：

放到 stable-diffusion-webui/extensions/SadTalker/gfpgan/weights 和 stable-diffusion-webui/models/GFPGAN

github.com/xinntao/fac…

github.com/xinntao/fac…

github.com/TencentARC/…

github.com/xinntao/fac…

为了便利运用这种办法布置，我也把相关的文件做了一个打包，咱们不必一个一个下载。关注/公/众/号：萤火遛AI，发消息：数字人，即可取得下载地址。

（1）首先把文件下载到本地或许你的云环境，这儿以AutoDL为例，我把它放到 /root 目录中。

只需3步，使用Stable Diffusion无限生成AI数字人视频

（2）然后解压文件到 stable diffusion webui的扩展目录，并复制几个文件到SD模型目录：

tar -xvf /root/SadTalker.tar -C /root/stable-diffusion-webui/extensions
cp -r /root/stable-diffusion-webui/extensions/SadTalker/gfpgan/weights/* /root/stable-diffusion-webui/models/GFPGAN/

看到下边的结果，就根本上差不多了。

扩展目录下边有这个文件夹：

只需3步，使用Stable Diffusion无限生成AI数字人视频

SD models 目录下有这几个文件：

只需3步，使用Stable Diffusion无限生成AI数字人视频

布置结束，不要忘了重启。

运用办法

在SD WebUI的Tab菜单中找到SadTalker，按照下边的次序进行设置。

只需3步，使用Stable Diffusion无限生成AI数字人视频

1、上传人物相片。

2、上传语音文件。

3、挑选视频人物的姿态：实践便是人说话时头部的动作，个人感觉有点摇头摆尾，能够运用不同的数字看看。

4、分辨率：512的视频分辨率比256大。

5、图片处理办法：corp是从图片截取头部做视频，resize合适大头照或许证件照，full便是全身照做视频，extcorp和extfull没做细致研讨，咱们自己对比下。

6、Still Model：让头部不要动作太大，致使违背身体，负面作用是头不怎么动了。

7、GFPGAN：修脸，说话时嘴和眼的动作或许让脸有些变形，选上他让脸部好看一些。

最终点击“生成”，依据硬件的运行速度和你的勾选设置，或许需求几分钟的时刻，耐心等候。

我这儿生成的视频（视频太占地，截个图算了)：

只需3步，使用Stable Diffusion无限生成AI数字人视频

或许遇到的问题

(1) 启动的时分报错：SadTalker will not support download…

只需3步，使用Stable Diffusion无限生成AI数字人视频

这个过错便是模型下载不下来，告知咱们要去手动下载。

这儿有两个办法：

  • 履行下边的命令触发下载，注意 cd 之后的路径替换成你自己的SadTalker装置路径：
cd stable-diffusion-webui/extensions/SadTalker
chmod 755 scripts/download_models.sh
scripts/download_models.sh
  • 下载所有的模版，然后手艺上传到相关目录，上边装置办法二中现已介绍过，能够运用我打包好的文件包。

(2) 组成视频时报错：No module named ‘xxx’

只需3步，使用Stable Diffusion无限生成AI数字人视频

运用 pip install xxx 就能够了，注意假如运用了python虚拟环境，需求先激活它，比如这儿要先履行source xxx。

source /root/stable-diffusion-webui/venv/bin/activate
pip install librosa

（3）组成视频时报错：No such file or directory: ‘/tmp/gradio/xxx’，创立目录就能够了：

mkdir -p /tmp/gradio

（4）假如提示找不到 ffmpeg，我这儿没遇到，假如出现请先下载装置：ffmpeg.org/download.ht…

以上便是本文的首要内容了，运用这种办法就能够无限制作自己的AI专属数字人，想要什么样的风格都能够，想做多少个都能够，有兴趣的快去试试吧。假如你有任何问题，欢迎与我交流，V/X：yinghuojun007。

注意要遵纪守法，不要搞出工作来。