用類神經網路去渲染 3D 遊戲場景？怎麼想都是個很玄的東西啊！
隨著 NVIDIA 推出 GeForce RTX 50 系列顯示卡，也同步推出 NVIDIA RTX Kit，讓開發者能夠將 AI 類神經網路的相關優勢加入至可程式化著色器當中。聽起來很神奇又虛無飄渺，但這中間過程和一般訓練 AI 模型沒有什麼不同，基本上就是讓原本的遊戲資料和著色器程式碼，與類神經遊戲資料和類神經著色器程式碼所產生的畫面相互比較，進而調整類神經網路模型的權重與表徵；經過幾個週期之後，雙方所產生的畫面就會極為類似。
依據 NVIDIA 的說明，這項突破性技術可以用在 3 種應用面向，分別是：RTX Neural Texture Compression、RTX Neural Materials、RTX Neural Radiance Cache，基本上都是在維持畫面品質的情況下，降低實際運算量、記憶體佔有率，用更少的資源達成原本大量遊戲資料、複雜著色器程式碼才能達到的畫面品質。
▼ 1 月底，NVIDIA RTX Kit 就會加入 RTX Neural Shaders 和 RTX Neural Texture Compression 軟體開發套件。Microsoft 之後也會在 DirectX 當中支援 Cooperative Vectors，遊戲開發者就可以在顯示卡的張量處理器當中執行訓練工作。
RTX Neural Texture Compression 主要與貼圖材質壓縮相關，NVIDIA 表示使用 AI 在數分鐘之內壓縮資料，其神經表徵可以直接存取使用不必進一步的更動。在視覺品質維持相同的情況下，經過類神經網路壓縮的材質相較傳統區塊方式壓縮，其大小差異高達 7 倍！也就表示顯示卡不必再依靠大量的專屬視訊記憶體，亦可擁有不錯的材質貼圖品質效果。
▼ 傳統區塊式壓縮方式，需要 520MB 容量放置該材質貼圖，改用 RTX Neural Texture Compression 就只需要 80MB。
RTX Neural Materials 則是用以簡化複雜的著色器程式碼，例如想要表達瓷器、絲綢這類多重層次的物體表面，往往需要經過複雜的運算才能夠在模型表層重現質感，因此僅能離線繪製，無法在遊戲當中即時呈現。
有了該技術之後，NVIDIA 表示材質處理速度提升5倍，不僅提升離線渲染算圖的速度，遊戲中也可以即時提供達電影品質的畫面。
▼ 透過 RTX Neural Materials 多重層次繪製出布料的質感，左方單一層次就顯得像是塑膠帆布。
最後的 RTX Neural Radiance Cache 則是與光線／路徑追蹤有關，我們都知道若要畫面逼真，光線／路徑追蹤數量必不可少，多重反射的間接光運算量更是驚人。
RTX Neural Radiance Cache 可以在最初的一、兩次光線／路徑追蹤反彈之後，推導出近似真實世界無限次光線交互作用的結果。
▼ 3D 場景若要十分逼真，複雜的模型數量、精緻的貼圖材質、大量光線／路徑追蹤工作必不可少，透過 RTX Neural Rendering 能夠減少相關工作量， 在極複雜的場景裡導入光線／路徑追蹤。
