得到粗略几何模型后，就需要对其进行细节雕琢，使其更加逼真。这时候，隐式扩散模型（LDM）就发挥了关键作用。LDM 就像是一位技艺精湛的雕刻家，在随机视角和光照条件下，对渲染图像进行得分蒸馏采样（SDS）处理。通过这种方式，Dream face 可以为粗略几何模型添加面部细节，比如皱纹、毛孔等，同时生成详细的法线贴图，让数字人的面部看起来更加立体和真实。经过 LDM 的处理，原本粗糙的几何模型逐渐变得栩栩如生，仿佛被赋予了生命。

面部纹理是影响数字人逼真度的重要因素，基于物理的材质扩散模块则负责预测与预测几何体和文本提示一致的面部纹理。Dream face 首先将预先训练的 LDM 在收集的大规模 UV 材质数据集上进行微调，得到两个 LDM 扩散模型。然后采用一种联合训练方案，协调两个扩散过程，一个用于直接去噪 UV 纹理贴图，另一个用于监督渲染图像，以确保面部 UV 贴图和渲染图像的正确形成与文本提示一致。这就好比同时有两位工匠，一位专注于纹理的精细处理，另一位则从整体效果上进行监督和调整，从而保证生成的纹理既符合文本描述，又能在渲染时呈现出最佳效果。

为了确保所创建的纹理地图不含有不良特征或照明情况，同时仍保持多样性，Dream face 设计了一种提示学习策略。具体来说，团队利用了两种方法来生成高质量的漫反射贴图。第一种方法是 Prompt Tuning，与手工制作的特定领域文本提示不同，Dream face 将两个特定领域的连续文本提示 Cd 和 Cu 与相应的文本提示结合起来，这将在 U - Net 去噪器训练期间进行优化，以避免不稳定和耗时的手工撰写提示。第二种方法是非面部区域遮罩，LDM 去噪过程将额外地受到非面部区域遮罩的限制，以确保生成的漫反射贴图不含有任何不需要的元素，比如背景杂物等，从而保证数字人的面部纹理纯净、高质量。

最后，为了实现高质量渲染，让数字人在大屏幕上也能呈现出完美的效果，Dream face 应用超分辨率模块生成 4K 基于物理的纹理。超分辨率技术就像是给数字人穿上了一件高清晰度的外衣，能够将低分辨率的纹理提升到 4K 分辨率，使数字人的面部细节更加清晰，色彩更加鲜艳，无论是皮肤的质感还是头发的光泽，都能展现得淋漓尽致，为用户带来极致的视觉体验。