基于物理的材质扩散生成模块则像是数字人的 “皮肤设计师”，它旨在预测与预测几何体和文本提示一致的面部纹理。DreamFace 首先将预先训练的 LDM 在收集的大规模 UV 材质数据集上微调，得到两个 LDM 扩散模型。然后，采用联合训练方案协调两个扩散过程，一个用于直接去噪 UV 纹理贴图，另一个用于监督渲染图像，以确保面部 UV 贴图和渲染图像的正确形成与文本提示一致。为了确保所创建的纹理地图不含有不良特征或照明情况，同时仍保持多样性，设计了一种提示学习策略。通过 Prompt Tuning 和非面部区域遮罩两种方法生成高质量的漫反射贴图。最后，通过超分辨率模块生成 4K 基于物理的纹理，以进行高质量渲染。这样生成的面部纹理不仅真实细腻，而且能够与口型及整体形象完美融合，让数字人的每一个表情和动作都更加生动自然 。

（一）对口型精准度大比拼

在数字人领域，已经涌现出了许多知名的数字人，如洛天依、柳夜熙等 。洛天依作为早期的虚拟偶像，在二次元领域拥有大量粉丝，她的形象可爱，歌声也独具特色。然而，在对口型方面，洛天依早期的表现并不尽如人意。由于技术限制，她在演唱一些节奏较快的歌曲时，口型与歌词的匹配度较低，常常出现提前张嘴或延迟闭嘴的情况 。例如在一场早期的线上演唱会中，当她演唱一首快节奏的歌曲时，口型与歌词的偏差达到了 30% 左右，这让不少观众感到有些出戏。随着技术的发展，洛天依的对口型精准度虽然有所提升，但与 DreamFace 相比，仍有一定差距。

柳夜熙则以其精美的超写实形象和奇幻的短视频内容走红。她的视频制作精良，特效炫酷。不过，在对口型的细节处理上，还是能看出一些瑕疵。在一些对话场景中，柳夜熙的口型虽然大致能跟上语音，但对于一些发音较为复杂的词汇，口型的精准度就会下降 。比如在一段介绍美妆产品的视频中，当她说到 “遮瑕膏” 这个词时，口型明显没有完全对应上发音，出现了模糊不清的情况。而 DreamFace 在面对各种复杂的词汇和语音时，都能保持极高的精准度。根据专业的测试机构数据显示，DreamFace 在日常对话场景下的对口型准确率高达 98% 以上，在快速说唱等极端场景下，准确率也能达到 95% 左右，远远超过了其他数字人 。

在表情和动作自然度方面，一些传统数字人往往存在表情僵硬、动作不连贯的问题。例如，某些银行的数字人客服，在与用户交流时，表情变化非常单一，只有简单的微笑和点头动作，而且这些动作看起来十分机械，就像是事先设定好的固定程序，缺乏真实感。当用户提出一些复杂问题时，数字人客服的表情和动作也无法做出相应的自然反应，给用户的体验较差 。