爱搞黑科技的原力又放大招！全新重光照4D扫描技术重磅登场
文章来源：wuhu动画人空间微信公众号
早在2019年，原力已经自主研发出重光照扫描系统，能够以超高的帧速率，采集高精度面部动态几何模型并生成Normal贴图、Specular贴图、Diffuse贴图；
它能够捕捉演员表演时细微的表情、肌肉和褶皱、血管显现等真实的物理变化，让模型扫描能够得到直接可用的高质量素材，大大降低了相关制作难度和复杂度，极大地缓解了国内动漫行业精英人才匮乏和制作成本过高的难题。
现在依托于多年沉淀的动画模型制作技术和传统单反矩阵扫描，在重光照系统的基础上，原力尝试创新在原本的基础上加入时间轴的概念，最终得到了这套能使每一帧都是一个扫描出来的高精度几何模型的，这也是行业内第一家自主全流程的重光照4D扫描系统。
以传统扫描、重光照扫描、全新重光照4D扫描的优势对比来看：
传统扫描VS重光照扫描
传统扫描：只能得到一张混合着高光和阴影的颜色图，贴图需要手动擦除高光和阴影，且无法彻底去除。
重光照扫描优势：可以同时采集颜色图、高光图、法线图、次表面散射图（针对半透明物体）等材质信息，并将计算出的模型依次贴图、加上纹理、去高光、加上法线以及最终合成为整体模型一键化完成，模型质量更高，工作效率也大大提升。
重光照扫描VS重光照4D扫描
重光照扫描：只能捕捉单帧内容。
重光照4D扫描优势：加入时间轴概念，使每一帧都是高精度几何模型，扫描精度可达皮肤毛孔级别；能有更多的过度POSE选择，让后期呈现的虚拟效果更贴近原本的演员表演。
我们还了解到，要实现这样的4D扫描，需要高帧速率、高分辨率的视频采集系统。
为此，原力自主研发设计了一套直径3.5米的球形矩阵光照空间，用331块编程Light Force照明灯板来保证照明的绝对均匀和同步。同时采用了3台高速工业相机、52台单反相机进行视频采集，高亮度快闪灯头进行同步照明。随着技术的一次次的迭代和更新，目前可以做到以25,30,60,fps来进行数据采集，最高分辨率可以达到3840×2160。
此外，原力的这套重光照4D扫描系统能够输出4D高精度几何模型和8k贴图，扫描精度能够达到皮肤毛孔级别，最高可以输出一千万面精度的几何模型，也可以根据项目的需求生成低面模型和normal贴图、specular贴图、diffuse贴图。
这套扫描系统
制作流程是怎样呢？
重光照4D扫描系统，首先采集4D扫描的原始数据，然后经过传输、输出序列帧、对齐帧、分别计算点云、生成高精度几何模型、生成高精度贴图、拓扑模型等一系列的流程。最终就可以输出高精度面部几何、normal贴图、diffuse贴图、specular信息等素材。
这套扫描系统
能为我们带到哪些便利呢？
在动画领域，它能有更加真实的模型blends制作；在如今大热的数字人领域，它缩短了制作高精度写实数字人的周期，简化了制作流程，增加数字人表情的精度和细节，最大限度还原演员真实的细节；而在游戏领域，重光照4D扫描系统可以让美术资产的制作流程更加简便，提升制作的效率，提升角色的细节，增加游戏的真实性。
说了这么多
是不是还想了解
这套扫描系统的优势在哪里？
使用成本如何？
如何把控采集数据？
如何匹配pbr规范？
本期wuhu专访我们邀请了原力数字科技重光照4D扫描技术开发团队，以及在VR领域研究超过七年的中国传媒大学教师高尔东老师，一起聊一聊这套扫描系统幕后的开发以及如何运用等问题。
Q：请问怎么看待动态所谓“体视频”的发展？如类似谷歌的relightables 等对比，咱们的优势在哪？
原力：动态体视频是在传统的3D扫描基础上添加了时间线，使每一帧都是扫描出来的高精度几何模型，生成几何模型序列的技术，这些几何模型连续播放起来就能够让我们任意角度观看模型。
基于多机位相机拍摄的动态体视频在精度上可以到达影视级别，记录演员的动作神情也更加自然流畅，能够达到百分百还原。体视频技术相当于是集雕刻建模+贴图绘制+表情捕捉于一身，而所花费的制作时间大大减少。体视频在电影制作、虚拟现实、数字媒体、影视表演都有非常丰富的应用场景。
原力的重光照4D扫描技术起步相对relightables较晚，relightables使用的采集设备是多组1200万像素的双目结构光相机，而我们使用了52台3250万像素单反相机和3台高速工业相机结合。这样的组合使得我们能够采集到更多细节，在采集到高清的4D元数据的同时又能采集用于重光照计算的环境光照图片，用于生成高精度面部几何、normal贴图、diffuse 贴图、specular信息等素材。
依托于原力在3D动画相关领域的多年深耕，我们拥有从扫描到拓扑再编辑，到绑定动画材质渲染的全流程制作经验。支持市面上常见的 3D 软件（Maya、Unity 3D、UE）表情驱动应用。
Q：原力在现阶段是如何改变内容生产与开发的行业流程和模式？
原力：经过我们的多次流程测试，现阶段我们的开发流程需要经过：采集4D扫描原始数据、传输、输出序列帧、对齐帧、分别计算点云，生成高精度几何模型，生成高精度贴图、拓扑模型等一系列的流程。
传统行业流程是拍摄多个单帧pose来制作blendshape表情模型库，用来驱动虚拟角色的表情。而重光照4D扫描系统计算出的模型，可以直接生成带有表情动画的模型，既可以在此基础上进行再编辑和修改，也可以根据需要将关键帧提取出来制作blendshape。
这样制作出来的blendshape有更自然的过渡和更真实的皮肤褶皱。能够捕捉真人说话及日常表情面部细微变化，使虚拟角色的表情神态更加真实还原。
这样的流程在制作写实数字人、虚拟角色时非常方便。以传统流程制作虚拟角色，需要从雕刻建模到贴图绘制，再到绑定动画和渲染，至少需要一个月的时间，并且效果远不如扫描来得真实，容易产生恐怖谷效应，无法还原真实演员的动作和表情细节，很难做到真实，永远无法做到相同。
4D扫描技术缩短了制作高精度写实数字人的周期，简化了制作的流程，增加数字人表情的精度和细节，最大限度还原演员真实的细节，捕捉演员表演时细微的表情、肌肉和褶皱、血管显现等真实的物理变化。
Q：该项技术可以让模型扫描能够得到直接可用的高质量素材，能解决很多技术、人才和成本的问题，我们想了解一下成本。一方面是整套系统的运行与开发成本，是否已经大幅度下降呢？对于开发者来说，具体要多大体量项目是符合其所能承担的成本。另一方面是数据量级，关于扫描精度与数据量二者的关系是如何？
原力：因为整套流程都是自主研发的，所以研发的成本还是相对较高的，例如编程Light Force照明灯板，定制的高速工业相机，定做的球形矩阵光照空间，用于同步的触发装置。随着重光照研发的逐步完善，开发成本较研发开始时有小幅下降。
主要用于高精度写实数字人、动画番剧、影视项目，随着技术的不断迭代更新，未来虚拟现实、服装设计、体育赛事、医疗等领域都能够通过重光照4D扫描技术来实现预期效果。
扫描精度和前期拍摄的数据量成正相关：相机的数量越多，则同时能够获取的元数据就越多，扫描的精度和细节就越高。拍摄的元数据时长越长，我们能够从中获取的关键pose就越多，但随着元数据的增加，解算的时长也会随之增加。
经过我们的测试，现使用66台单反相机和5台高速工业相机来进行拍摄，做到以25,30,60,fps来进行数据采集，最高分辨率可以达到3840×2160，能够达到精度与数据量之间较好的平衡。
Q：这项技术与传统动捕采集的数据体量相比，显然大得多，对于开发者是需要如何把控的呢？针对扫描出来的数据微调和修改的手段和能力多大？
原力：重光照4D扫描的数据量大概是传统3D扫描数据量的1000倍，目前采集数据体量无法缩小，我们的TD部门开发的一系列针对元数据的编辑，对齐，排序的插件，解算出的动态几何模型，可以通过重拓扑来进行修改和微调，可以在原始数据的基础上任意修改和调整。
Q：目前pbr流程还是很热门的，请问这套设备输出的内容如何与pbr规范相匹配呢？
原力：重光照4D扫描系统通过331块编程Light Force照明灯板可以模拟各种不同的光照环境，经过软件处理直接生成模型贴图，在各种渲染引擎也都能够兼容，能够更精确地描绘光和表面之间的作用。和传统pbr制作流程相比，不需要去反复调整贴图，不需要再用高模去烘焙贴图，或是手绘贴图，让次世代角色的制作流程事半功倍。
Q：对于VR，AR交互与社交方式的迭代，动态体积扫描在其中的价值不言而喻。对大众来说，如何判断在未来数年内，类似微软“Holoportation”概念的扫描设备的便携性、普及化的设备是否在我们企业的发展考虑范围内，我们需要做什么样的准备，大致迭代周期是怎样的情况？针对原力在后续黑科技的研究上还会有哪些探索呢？
原力：简单来说，Holoportation技术更像是3维版本的facetime。它能够把身处在不同地方的两个人，通过多视角相机取景拍摄，3维建模，然后把模型压缩，实时传输给对方。重光照4D扫描系统的基本实现原理和Holoportation类似，目前我们的重光照4D扫描系统主要着重点在3D影视、动画和虚拟数字人角色制作等领域。
我们未来目标主要是提升扫描模型的精度，制作流程智能化，提升设备的便携性和一体性。原力还在不断地进行技术的迭代和更新，随着技术的不断成熟应用，要想使这项技术普及，我们需要在拍摄制作的流程上再继续做优化，进一步的降低成本，让这项技术能够被更多行业人群使用。
如今，动画的发展已经离不开科技的助力。
近几年，我们也观察到原力作为一家以科技研发、高质量动画制作著称的公司，在行业内已经有着雄厚的实力基础，并以《凡人修仙传》《故宫里的大怪兽》《驯龙记》等作品为观众熟知。在游戏领域更是与育碧、暴雪、EA、网易、腾讯等众多一线公司合作，如《最后生还者1/2》《英雄联盟》《王者荣耀》《战神》《FIFA》《神秘海域》等游戏大作幕后都有原力的参与！
这次原力推出的全新重光照4D扫描技术，在动画领域又是一项提高动画制作的高效率工具，并且还有望在虚拟现实、服装设计、体育赛事、医疗等领域发挥作用。
未来，也许这项技术将会以更精准、更便携、更智能的面貌出现，且被更多类型的团队运用在不同领域，由此对动画制作工业化的推动力量将会有多少？就看后面的优化更新了。
原力，用动画检验科技、用科技助力动画，这群“爱搞黑科技”的动画人，不停地尝试开发出新技术，也持续地将动画制作提升到新的高度。我们见证并期待着原力在动画技术领域的又又又一次新突破！
