内容一览：在春节档科幻电影「漂泊地球 2」中，主演吴京、刘德华、沙溢等人扮演的人物，跨过 14 年之久，视效团队正是凭借 Deepfake de-aging 技能，出现出了艺人不同年纪段的容貌。
关键词：De-aging Deepfake 漂泊地球
「漂泊地球 2」上映 8 天，总票房就现已突破了 24 亿，打破 36 项纪录，取得 91 项里程碑成就。其间，21 岁小鲜肉刘培强（吴京饰），以及年青英俊图恒宇（刘德华饰），给观众留下了深入的印象。
漂泊地球官方微博发布的一段视频中，讲述了换脸特效背面繁复的工程难度。
吴京：不要被我年青俊美的容颜吓坏哦视频
来历：@电影漂泊地球官方微博
在知乎提问「《漂泊地球 2》幕后有哪些不为人知的制造难题」中，《漂泊地球 2》视效总监、MOREVFX 创始人徐建，坦言技能上榜首难点就是「De-aging」数字换龄。
完好回答
数字换龄，45+ 吴京变身 21 岁小鲜肉
de-aging 是一种应用于影视作品的视觉特效技能，是指利用数字编辑 (digitally editing) 或计算机绘图 (computer graphics，简称 CG) 技能，完成艺人在特定场景下的年青化。
在电影「漂泊地球 2」中，艺人吴京、刘德华、王智等多人扮演的人物，都触及到了人物年青化，即 de-aging。
用吴京年青时的 2D 材料练习 AI 模型进行 de-aging，为实拍材料完成换脸
一个小番外：根据电影剧情推算，刘培强出世年份正是 2023 年。
以吴京为例，现实中吴京在拍照这部电影时，年纪 45+（根据百度百科材料推算），但是电影中 2044 年时的刘培强只要 21 岁，45+ 的艺人挑战扮演 21 岁的「小鲜肉」，着实需求点技能加持。
3 大干流 de-aging 办法整理
实际上，其时全世界干流的 de-aging 办法共分为 3 类。
该办法分为两个首要过程：
- 制造数字人并进行 de-aging
经过艺人佩带的表情捕捉设备，扫描艺人并生成数据库，制造目标艺人的数字人，然后根据艺人前期职业生涯剧照及视频材料，对数字人进行 de-aging。
- 根据艺人佩带的动作捕捉设备，对数字人进行动画制造
根据「漂泊地球 2」视效总监徐建在知乎的分享，此办法预算高、国内相关人才缺乏，且身上的设备可能会影响打斗场景拍照及艺人扮演情绪的传达。
威尔史密斯佩带设备进行动作及表情捕捉
在电影「爱尔兰人」中，工业光魔开发了一种无需佩带物理设备或在面部做符号的 de-aging 技能，艺人被三台摄像机设备环绕拍照，一台为正常拍照机位，别的两台负责记载 de-aging 需求的数据，经过拍照红外镜头收集必要数据，以数字方式再现扮演。
摄像机记载的数据结合光线影响对人物进行 de-aging
在电影「美国队长 3：内战」中，视效团队利用小罗伯特唐尼前期的影视作品、视觉材料，练习根据 Deepfake 算法的 AI 模型并完成换脸。
Deepfake 年青版钢铁侠
据「漂泊地球 2」视效总监徐建介绍，早在电影开拍一年半之前，视效团队就开端了技能实验，测试了 5、6 种换脸办法后，视效团队最终决议采用 de-aging 办法三，根据 Deepfake 算法用艺人年青时的 2D 材料练习 AI 模型，最终迭代 500 多万次后，替换实拍材料。
人脸年青化及增龄的论文整理
《Production-Ready Face Re-Aging for Visual Effects》
DisneyResearch 团队提出了一个 Face Re-Aging Network，简称 FRAN，能够在不丢失身份的前提下，主动重塑视频中的人脸图画，完成目标人脸年青化或增龄效果。
输入人像年纪 35 岁，上下排分别为 re-aging 为 65 岁和 18 岁
《High Resolution Face Age Editing》
本篇论文提出了一个用于面部年纪编辑的 encoder-decoder 架构，运用一种简单的办法完成了高分辨率人脸年纪编辑，能够输出 1024*1024 分辨率的图画。
根据输入人脸（黄色框），输出不同年纪段的高质量人脸图画
《Only a Matter of Style: Age Transformation Using a Style-Based Regression Model》
本篇论文提出了一种图画到图画的转换办法，直接将实在的面部图画编码到预先练习好的无条件 GAN 的 latent space 中，进行老化转变。能够仅凭实验者的一张相片就生成全年纪阶段的容貌，精确到每一条皱纹。
运用论文提出的 SAM 架构生成的老化结果
像素级换脸技能任重道远，仍需行业规范
「漂泊地球 2」中，年青刘培强和图恒宇的出现，虽然是根据 Deepfake 算法完成，然而经过调查众多相关论文，结合视效总监徐建的介绍，我们得知在电影制造的后期，仍需专业后期人员对换脸后的人物进行繁复的完善和修正。
这是因为换脸技能在一些细节处理上仍存在缺乏，如表情僵硬、目光表情不自然，这些「不协调」在电影大荧幕上无疑会被放大，给观众带来不适。
减龄及增龄算法的开展，要完成与影视作品中的人物「完美适配」，恐怕还有很长的路要走，而如何监控 Deepfake 这项技能不被乱用，也是工业界、科技界甚至普通用户不得不面临的一个潜在危险和挑战。非常激动能看到国产科幻电影有如此恢宏壮观的场景规划和视觉特效，期待小破球 3！
参考链接：[1] www.zhihu.com/question/57… onlinelibrary.wiley.com/doi/full/10… www.respeecher.com/blog/de-agi…
