这两天有一个AI拖动改图的项目特别火,看官方共享的演示视频,作用特别震撼!
为了获取第一手的实在体会,我也第一时间布置了这个项目,并实践体会了一下。
坦白的说,它的实践作用和演示视频还是有些距离的,操作上并没有那么顺滑,一是主动生成的UI,交互体会不太友爱,二是它对核算资源的要求比较高,假如机器不行会比较卡。对项目比较了解的大佬在回应网友时也说到这仅仅一个研讨项目,和商用产品还有比较大的距离。
不过这个东西的确能解决一些问题,比方想给照片中的人或者动物换个优美的姿态,以及重新设计产品的外观等。或许再经过一段时间的迭代,它就能像AI绘图一样让咱们爱不释手了。所以,我还是详细共享下我的体会进程,也给想尝试的同学供给一个参阅。
装置说明
这个项目是在Github上开源的,本质是基于生成对立网络的深度学习模型,拜访地址:github.com/XingangPan/…
一开端我本来打算自己搭建环境布置,但是总遇到各种问题,折腾了几下就抛弃了,后来在项目的Issues讨论区中看到有Google Colab版别,所以就直接拿过来跑了。
这是我的notebook,咱们能够直接复制运转:colab.research.google.com/drive/1Cah5…
代码很简单,我这儿简单介绍下:
!git clone https://huggingface.co/spaces/radames/DragGan/
!pip install -r /content/DragGan/requirements.txt
%cd /content/DragGan
!python visualizer_drag_gradio.py --share
首先是从huggingface复制核心程序,由此可见大佬是在huggingface完结初度程序布置的;然后装置Gradio及其依靠的程序包;最后进入程序目录,发动程序。
这儿为什么要装Gradio?首先这是一个让模型可视化的东西,便利咱们进行调测;其次程序是在notebook中运转的,默认只能本机拜访,Gradio能够做一个内网穿透,这样咱们就能够在本地的浏览器操作。
为了给没操作过Google Colab的同学一些指引,我这儿说下如何发动Notebook。
进入Notebook后,首先点击右上角这儿的“连接”,Notebook就会主动创建服务器并发动它。
服务器发动成功后,这儿会显现内存和磁盘的监控缩略图:
点击右侧的这个小箭头,在打开的下拉菜单中点击“查看资源”,就能够看到内存、GPU和磁盘的状况:
注意上图中的“GPU RAM”,这个代表显卡的显存运用状况,假如你的资源中没有这个项目,说明没有启用GPU,需要点击页面下方的“更改运转时类型”,在这儿挑选“硬件加速器”为GPU,GPU类型挑选T4,假如付费了能够挑选更好的。
服务器正常发动后,咱们点击代码区域的这个小图标,然后程序就开端运转了,代码的下方会输出程序运转的日志。
程序发动成功后,日志这儿会输出外网能够拜访的Gradio地址,直接点击就会在浏览器打开。
运用说明
在打开的浏览器页面中,你会看到相似下图的一个页面:左边是一些操控参数和操作按钮,右边是待处理的图片区域。
这儿咱们做一个运用演示:
在页面的左上角,Pretrained Model 这儿,咱们挑选 “stylegan2_dogs_1024_pytorch”,这是一些狗狗的预训练模型。模型选中后,右边就会加载一张狗狗的图片,这个图片是随机的。调整左侧的“See点”能够更换图片。
我这儿的这个狗狗目光看向右边,我想让他把头扭过来,看着观众,这样能够添加一些亲近感!
具体操作过程是:
1、在图片上点击想要拖拽的地方,点击结束后,程序会进行一次处理,等候处理结束,会显现一个赤色的点。
2、在图片上点击要拖动到的地方,点击结束后,程序还是会进行一次处理,等候即可,最后会显现一个蓝色的点。
3、点击Mask区域的“Edit Flexible Area”,点击结束后,程序会进行一次处理,等候处理结束。
4、然后咱们点击图片右上角这个笔刷的按钮,把笔刷调整的大些,这样比较好涂抹。
5、然后涂抹,把狗狗的头部隐瞒住,这一步的目的便是让拖动作用只影响隐瞒的部分。
6、然后点击“Start”,开端拖拽调整。
能够看到图像会一步步接近咱们的拖放点。
7、这个调整程序有时候长时间停不下来,能够点击“Stop”按钮停止运转,也能够改写页面重载程序。
8、假如调整的作用不满意,能够多次调整,直到调整到最佳方位。
我这儿技巧掌握的还不是很好,调整出来有点怪。
以上便是本文的主要内容了,从我的实践体会来说,比较卡,没有官宣的那么丝滑,或许是因为显卡的才能不行,有更好显卡的同学能够再试试,还有一部分原因是UI交互设计上的问题,每点一下图片部分都要重绘,加上网络传输,每次操作都要耗费若干秒或十几秒,应该能够兼并一些前端操作再发到后端处理。
因自己才能有限,不免出现错漏,欢迎指正,感谢你的阅览。