神經(jīng)網(wǎng)絡(luò)渲染器提高了光線追蹤圖像質(zhì)量,使用可在采樣光線之間生成更高質(zhì)量像素的 AI 網(wǎng)絡(luò)取代需要人工設(shè)計(jì)的降噪器。

編者注:本文屬于《解碼 AI》系列欄目,該系列的目的是讓技術(shù)更加簡(jiǎn)單易懂,從而解密 AI,同時(shí)向 RTX PC 用戶展示全新硬件、軟件、工具和加速特性。

AI 不斷提高 PC 游戲品質(zhì)的上限。

具有光線重建功能的 DLSS 3.5 可以為密集型光線追蹤的游戲和應(yīng)用創(chuàng)建更高質(zhì)量的光線追蹤畫(huà)面。這種增強(qiáng)型 AI 賦能的神經(jīng)網(wǎng)絡(luò)渲染器是一項(xiàng)突破性功能,它利用經(jīng) NVIDIA 超級(jí)計(jì)算機(jī)訓(xùn)練的 AI 網(wǎng)絡(luò)取代需要人工設(shè)計(jì)的降噪器,從而顯著提升所有 GeForce RTX GPU 的光線追蹤圖像質(zhì)量。該功能可提升光線反射、全局光照和陰影等光照效果,打造更加真實(shí),身臨其境的游戲體驗(yàn)。

一束光線,一項(xiàng)突破

光線追蹤作為一種渲染技術(shù),可通過(guò)渲染精準(zhǔn)物理關(guān)系的反射、折射、陰影和間接光照,實(shí)現(xiàn)對(duì)場(chǎng)景及其中物體光照效果的逼真模擬。光線追蹤通過(guò)追蹤觀景式相機(jī)(決定場(chǎng)景中的視線)的光線路徑來(lái)生成計(jì)算機(jī)圖形圖像。該路徑會(huì)穿過(guò) 2D 視平面進(jìn)入 3D 場(chǎng)景,然后返回光源。例如,如果光線照射到鏡子上,就會(huì)生成反射。

而光線追蹤相當(dāng)于打造現(xiàn)實(shí)世界中被光束照亮的物體的數(shù)字版本,創(chuàng)造出光從觀察者的眼睛到與光相互作用的物體的路徑。這就是光線追蹤。

以這種方式模擬光線——為屏幕上的每個(gè)像素發(fā)射光線——需要大量的計(jì)算,即使是對(duì)于離線渲染器來(lái)說(shuō)也是如此無(wú)論是計(jì)算幾分鐘或幾小時(shí)內(nèi)的場(chǎng)景。而另一種方法則是讓光線樣本向場(chǎng)景中的各個(gè)點(diǎn)發(fā)射少量光線,以獲得場(chǎng)景光照、反射率和陰影的代表性樣本。

然而,這種方式存在局限性。輸出的是帶有間隙和噪聲的斑點(diǎn)圖像,足以確定光線追蹤時(shí)場(chǎng)景的外觀如何展現(xiàn)。為了填充未計(jì)算光線追蹤的缺失像素,人工設(shè)計(jì)的降噪器使用兩種不同的方法:在多幀中依時(shí)累積像素,或?qū)ζ溥M(jìn)行空間插值以將相鄰像素混合在一起。通過(guò)此過(guò)程,帶噪聲的原始輸出會(huì)被轉(zhuǎn)換為光線追蹤圖像。經(jīng)此流程,含噪點(diǎn)的原始輸出結(jié)果會(huì)被轉(zhuǎn)換成光線追蹤圖像。

這會(huì)增加開(kāi)發(fā)過(guò)程的復(fù)雜性和成本,并且在大量采用光線追蹤技術(shù)的游戲中會(huì)降低幀率。其原因在于此類游戲會(huì)同時(shí)運(yùn)行多個(gè)降噪器以實(shí)現(xiàn)不同的光照效果。

DLSS 3.5 光線重建技術(shù)引入了經(jīng) NVIDIA 超級(jí)計(jì)算機(jī)訓(xùn)練且由 AI 驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò),可在采樣光線之間生成更高質(zhì)量的像素。該技術(shù)可識(shí)別不同的光線追蹤效果,從而可使用時(shí)間和空間數(shù)據(jù)做出更明智的決策,并保留高頻信息以實(shí)現(xiàn)更高質(zhì)量的升級(jí)。光線重建還可以從訓(xùn)練數(shù)據(jù)中識(shí)別光照模式 (例如全局光照或環(huán)境光遮蔽),并在游戲中重現(xiàn)該效果。

https://images.nvidia.cn/cn/youtube-replicates/Gg_3-X3d3iY.mp4

“傳送門(mén) (Portal)”RTX 版是光線重建在實(shí)際應(yīng)用中的優(yōu)秀示例。關(guān)閉 DLSS 后,降噪器很難重建轉(zhuǎn)動(dòng)的風(fēng)扇旁邊的動(dòng)態(tài)陰影。

啟用 DLSS 3.5 和光線重建后,降噪器會(huì)在 AI 上進(jìn)行訓(xùn)練,識(shí)別與陰影相關(guān)的某些模式并保持圖像穩(wěn)定,積累準(zhǔn)確的像素,同時(shí)混合相鄰像素以生成高質(zhì)量的反射。

深度學(xué)習(xí),沉浸游戲

光線重建只是性能倍增的 DLSS 所使用的 AI 突破性圖形技術(shù)的其中之一。作為 DLSS 的基礎(chǔ),超分辨率功能會(huì)對(duì)多個(gè)分辨率較低的圖像進(jìn)行采樣,并使用先前幀的運(yùn)動(dòng)數(shù)據(jù)和反饋來(lái)重建原生質(zhì)量的圖像。這能實(shí)現(xiàn)在不犧牲游戲性能的情況下獲得高質(zhì)量圖像。

https://images.nvidia.cn/cn/youtube-replicates/GKpURmnNMoA.mp4

DLSS 3 引入了 "幀生成 "功能,通過(guò)使用 AI 分析前后幀的數(shù)據(jù)來(lái)預(yù)測(cè)下一個(gè)生成的幀應(yīng)該是什么樣子,從而提高性能。然后,這些生成的幀會(huì)被插入到已渲染的幀之間。將 DLSS 生成的幀與 DLSS 超分辨率相結(jié)合,可使 DLSS 3 在 AI 助力下重建所顯示像素?cái)?shù)的八分之七。與不使用 DLSS 相比,其幀率最高可提升至原來(lái)的 4 倍。

由于 DLSS 幀生成是在 GPU 上進(jìn)行后處理 (在主渲染后應(yīng)用) 的,因此即使游戲受到 CPU 的瓶頸限制,它也能提高幀率。

生成式 AI 正改變各類游戲、視頻會(huì)議和互動(dòng)體驗(yàn)。請(qǐng)訂閱《解碼 AI》時(shí)事通訊,我們每周都會(huì)將新鮮資訊直接投遞到您的收件箱。