Meta AI 新推出的“可重新照明的高斯编码头像（Relightable Gaussian Codec Avatars）”，是之前的“编码头像 2.0（Codec Avatars 2.0）”的升级，能够创建出在实时环境中可完全重新照明的虚拟头像，而且这种头像的精度惊人，甚至达到了头发丝这样的微观层面。

应该是用在 Meta 元宇宙中用来创建用户虚拟形象的技术。

项目首页：网页链接
论文：网页链接

论文摘要：

在这项研究中，我们介绍了一种名为“可重新照明的高斯编码头像”的方法，用于构建高保真度且可重新照明的头部虚拟头像，并且可以生成全新的表情。

我们的几何模型基于 3D 高斯技术，能够捕捉到动态面部序列上亚毫米级的细节，比如头发丝和毛孔。为了能够统一处理人类头部的各种不同材质，比如眼睛、皮肤和头发，我们提出了一种基于可学习的辐射传递技术的全新可重新照明外观模型。此外，我们还利用了球面谐波技术来感知全球照明，针对漫反射成分进行处理，并使用球面高斯技术实现了实时的全频反射重新照明效果。这种外观模型可以在点光源和连续光照条件下高效地实现实时重新照明。我们还通过引入可重新照明的显式眼部模型，进一步提升了眼睛反射的真实感，并实现了精确的注视方向控制。

我们的这种方法在保证实时性能的前提下，效果超越了现有的各种方法。我们还演示了在有线消费级 VR 头显上实现头像的实时重新照明，展示了我们头像在效率和真实感方面的优势。

微博新知 宝玉xp的微博视频

发布时间： 2023-12-08 07:37:55