神经网络渲染器提高了光线追踪图像质量,使用可在采样光线之间生成更高质量像素的 AI 网络取代需要人工设计的降噪器。

编者注:本文属于《解码 AI》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 RTX PC 用户展示全新硬件、软件、工具和加速特性。

AI 不断提高 PC 游戏品质的上限。

具有光线重建功能的 DLSS 3.5 可以为密集型光线追踪的游戏和应用创建更高质量的光线追踪画面。这种增强型 AI 赋能的神经网络渲染器是一项突破性功能,它利用经 NVIDIA 超级计算机训练的 AI 网络取代需要人工设计的降噪器,从而显著提升所有 GeForce RTX GPU 的光线追踪图像质量。该功能可提升光线反射、全局光照和阴影等光照效果,打造更加真实,身临其境的游戏体验。

一束光线,一项突破

光线追踪作为一种渲染技术,可通过渲染精准物理关系的反射、折射、阴影和间接光照,实现对场景及其中物体光照效果的逼真模拟。光线追踪通过追踪观景式相机(决定场景中的视线)的光线路径来生成计算机图形图像。该路径会穿过 2D 视平面进入 3D 场景,然后返回光源。例如,如果光线照射到镜子上,就会生成反射。

而光线追踪相当于打造现实世界中被光束照亮的物体的数字版本,创造出光从观察者的眼睛到与光相互作用的物体的路径。这就是光线追踪。

以这种方式模拟光线——为屏幕上的每个像素发射光线——需要大量的计算,即使是对于离线渲染器来说也是如此无论是计算几分钟或几小时内的场景。而另一种方法则是让光线样本向场景中的各个点发射少量光线,以获得场景光照、反射率和阴影的代表性样本。

然而,这种方式存在局限性。输出的是带有间隙和噪声的斑点图像,足以确定光线追踪时场景的外观如何展现。为了填充未计算光线追踪的缺失像素,人工设计的降噪器使用两种不同的方法:在多帧中依时累积像素,或对其进行空间插值以将相邻像素混合在一起。通过此过程,带噪声的原始输出会被转换为光线追踪图像。经此流程,含噪点的原始输出结果会被转换成光线追踪图像。

这会增加开发过程的复杂性和成本,并且在大量采用光线追踪技术的游戏中会降低帧率。其原因在于此类游戏会同时运行多个降噪器以实现不同的光照效果。

DLSS 3.5 光线重建技术引入了经 NVIDIA 超级计算机训练且由 AI 驱动的神经网络,可在采样光线之间生成更高质量的像素。该技术可识别不同的光线追踪效果,从而可使用时间和空间数据做出更明智的决策,并保留高频信息以实现更高质量的升级。光线重建还可以从训练数据中识别光照模式 (例如全局光照或环境光遮蔽),并在游戏中重现该效果。

“传送门 (Portal)”RTX 版是光线重建在实际应用中的优秀示例。关闭 DLSS 后,降噪器很难重建转动的风扇旁边的动态阴影。

启用 DLSS 3.5 和光线重建后,降噪器会在 AI 上进行训练,识别与阴影相关的某些模式并保持图像稳定,积累准确的像素,同时混合相邻像素以生成高质量的反射。

深度学习,沉浸游戏

光线重建只是性能倍增的 DLSS 所使用的 AI 突破性图形技术的其中之一。作为 DLSS 的基础,超分辨率功能会对多个分辨率较低的图像进行采样,并使用先前帧的运动数据和反馈来重建原生质量的图像。这能实现在不牺牲游戏性能的情况下获得高质量图像。

DLSS 3 引入了 "帧生成 "功能,通过使用 AI 分析前后帧的数据来预测下一个生成的帧应该是什么样子,从而提高性能。然后,这些生成的帧会被插入到已渲染的帧之间。将 DLSS 生成的帧与 DLSS 超分辨率相结合,可使 DLSS 3 在 AI 助力下重建所显示像素数的八分之七。与不使用 DLSS 相比,其帧率最高可提升至原来的 4 倍。

由于 DLSS 帧生成是在 GPU 上进行后处理 (在主渲染后应用) 的,因此即使游戏受到 CPU 的瓶颈限制,它也能提高帧率。

生成式 AI 正改变各类游戏、视频会议和互动体验。请订阅《解码 AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。