NVIDIA 今日宣布推出全新 NVIDIA RTX 技術,用於支援在新款 GeForce RTX 人工智慧(AI)筆記型電腦上運行的AI助理及數位人。

NVIDIA 推出由 RTX 支援的AI助理技術展示內容 Project G-Assist,可為 PC 遊戲及應用程式提供環境感知協助功能。在開發商 Studio Wildcard 推出的《方舟:生存升級(ARK: Survival Ascended)》遊戲中,Project G-Assist 的技術展示內容將首度亮相。NVIDIA 亦為 NVIDIA ACE 數位人平台推出首項用於 PC 的 NVIDIA NIM™ 推論微服務。

這些技術將由一套包括全新工具和軟體開發套件(SDK)的 NVIDIA RTX AI 工具套件支援,可幫助開發者在 Windows PC 上最佳化及部署大型生成式AI模型。這些技術與 NVIDIA 的全端 RTX AI 創新技術共同加速運行超過 500 款 PC 應用程式和遊戲,以及逾 200 款 OEM 筆記型電腦設計。

此外,華碩(ASUS)與微星(MSI)最新發布的 RTX AI PC 筆記型電腦最高將搭載 GeForce RTX 4070 GPU ,和具有 Windows 11 AI PC 功能的節能系統單晶片。這些Windows 11 AI PC將在Copilot+ PC體驗推出時獲得免費更新。

NVIDIA 消費者AI部門副總裁 Jason Paul 表示:「NVIDIA 在 2018 年發布了 RTX Tensor 核心 GPU 和 DLSS 技術,開啟了 AI PC 時代。如今藉由 Project G-Assist 與 NVIDIA ACE,NVIDIA將為超過一億名 RTX AI PC 用戶開啟新一代AI體驗。」

AI助理將改變人們在玩遊戲及使用應用程式時體驗,從提供遊戲策略和分析多人遊戲重播,至即時協助處理複雜的創意工作流程。Project G-Assist 讓人們能夠一窺未來的發展走向。

PC 遊戲提供浩瀚的宇宙和複雜的機制供玩家探索和掌握,即使是最投入的玩家,也需要花費大量的時間和精力來完成挑戰。Project G-Assist 旨在利用生成式AI,讓玩家們嫺熟掌握各種遊戲知識。

Project G-Assist會接收玩家透過語音或文字輸入的內容,以及遊戲畫面裡的語境脈絡資訊,並透過AI視覺模型運行這些資料。這將模型可增強語境脈絡感知,同時強化與某個遊戲知識資料庫連結的大型語言模型(LLM)針對特定應用程式的理解能力,接著生成出以文字或語音形式為玩家們專門打造的相關回應內容。

NVIDIA 與 Studio Wildcard 合作在《方舟:生存升級 (ARK: Survival Ascended) 》這款遊戲裡展示這項技術。Project G-Assist 可以幫助回答有關生物、物品、傳說、目標、大魔王等方面的問題。由於 Project G-Assist 能感知語境脈絡,可以根據玩家的遊戲過程提供個人專屬的回答。

此外,Project G-Assist 還能配置玩家的遊戲系統,以達到最佳效能和效率。它可以深入瞭解各項效能指標,根據使用者的硬體調整出最佳的圖形設定,安全地進行超頻,甚至在保持效能目標的同時智慧降低耗電量。

NVIDIA 用於支援數位人的 ACE 技術,現在將透過預先建構好的推論微服務容器 NVIDIA NIM 用於 RTX AI PC 和工作站,讓開發者能夠將部署時間從原本的數週縮短到幾分鐘。NVIDIA NIM 可在裝置本機端運行高品質的推論,用於理解自然語言、語音合成、臉部動畫等。

在今年的 COMPUTEX 大會上,NVIDIA 與Inworld AI合作開發的 Covert Protocol 技術展示內容,將會是把 NVIDIA ACE NIM 用於 PC 遊戲的首秀,展示在裝置本機端運行的 NVIDIA Audio2Face™ 及 NVIDIA Riva 自動語音辨識技術。

微軟與 NVIDIA 合作幫助開發者將新的生成式AI功能用在他們的 Windows 原生和網路應用程式裡。雙方的合作將為應用程式開發者提供方便使用的應用程式介面(API),讓他們能夠取得由GPU 加速的小型語言模(SLM),並啟用由Windows Copilot Runtime 支援,可在裝置上運行的檢索增強生成(RAG)功能。

SLM 為 Windows 開發者提供了巨大的可能性,包括內容摘要、內容生成和任務自動化。RAG 功能可讓AI模型取得基礎模型中未充分展現的特定領域資訊,進而增強 SLM。開發者可以透過 RAG API 利用專門用於應用程式的資料來源,根據應用程式需求調整 SLM 的行為和功能。

NVIDIA RTX GPU 及其他硬體廠商的AI加速器將加速執行這些AI功能,橫跨廣大的Windows 生態系統,為終端使用者提供快速又靈敏的AI使用體驗。

這款 API 的開發者預覽版將於今年稍晚推出。

AI生態系統已經建立出成千上萬個高品質的開源模型供應用程式開發者使用,但大多數模型都是為通用目的而預先訓練,且是為在資料中心運行而建構的。

為了幫助開發者建立可在 PC 上運行,且專門用於特定應用程式的AI模型,NVIDIA 推出 RTX AI 工具套件,一種端到端的工作流程,用於在 RTX AI PC 上進行自訂、最佳化及部署模型。RTX AI 工具套件將於六月提供給更多開發者使用。

開發者可以使用開源的 QLoRa 工具自訂預先訓練好的模型,並使用 NVIDIA TensorRT™ 模型最佳化工具來量化模型,此舉可將 RAM 消耗量減少多達三倍。NVIDIA TensorRT Cloud 接著會將模型調整至最佳狀態,以便徹底發揮 RTX GPU 系列的最佳效能。與預先訓練好的模型相比,效能可提高達四倍。

NVIDIA AI 推論管理員(AIM)軟體開發套件(SDK)現已推出搶先體驗版本,其可在 PC 與雲端環境之間完美協調AI推論作業,為 PC 應用程式開發者簡化整合AI的複雜性。它還以統一的NIM 格式為 PC 預先配置必要的人工智慧模型、引擎和依賴關係,並支援所有主要的推論後端,包括橫跨不同處理器(包括 GPU、NPU 和 CPU)的 TensorRT、DirectML、Llama.cpp 和 PyTorch-CUDA。

Screenshot

Adobe、Blackmagic Design 與 Topaz 等軟體合作夥伴已將 RTX AI 工具套件的元件加入其熱門的創意應用程式,以加速 RTX PC 上的AI運行效能。

Adobe 創意雲端產品行銷部門副總裁 Deepa Subramaniam 表示:「Adobe 與 NVIDIA 持續合作,為視訊、影像、設計、3D 等所有創意工作流程提供突破性的客戶體驗。RTX PC 上的 TensorRT 10.0 為創作者、設計師和開發者提供了前所未有的效能表現及AI支援的功能,讓他們能在使用 Photoshop 等引領業界的創意工具來創作內容時,得以開啟嶄新的創意可能性。」

TensorRT-LLM 等 RTX AI 工具套的元件已與熱門的生成式AI開發框架及應用程式進行整合,包括 Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga 和 Sanctum.AI。

NVIDIA 還將 RTX AI 加速技術加入創作者、模組製作者和影音愛好者所使用的應用程式。

NVIDIA 在去年為Automatic1111(最受歡迎的 Stable Diffusion 使用者介面之一)引入了使用 TensorRT 的 RTX 加速技術。從本週開始,RTX 還將加速運行大受用戶歡迎的 ComfyUI,與目前已推出的版本相比,效能可提高達60%,與 MacBook Pro M3 Max 相比,效能提高了七倍。

供模組製作者使用的 NVIDIA RTX Remix 平台可利用全光線追蹤技術、NVIDIA DLSS 3.5 和精準符合物理原則的材質,重製經典的 DirectX 8 和 DirectX 9 遊戲。RTX Remix 包括一個 Runtime 渲染器和 RTX Remix 工具套件應用程式,使用這個應用程式可以方便修改遊戲資產和材質。

NVIDIA 在去年對 RTX Remix Runtime 進行開源,允許模組製作者擴大遊戲相容性與提高渲染能力。

自RTX Remix 工具套件於今年初推出以來,已有兩萬名模組製作者使用它來製作經典遊戲的模組,在 RTX Remix Showcase Discord 上有超過 130 款使用這款工具套件開發的 RTX 重製版遊戲。

NVIDIA 將在這個月對 RTX Remix 工具套件進行開源,讓模組製作者能夠簡化資產替換和重新製作場景光線效果的方式,增加 RTX Remix 資產擷取器支援的檔案格式,並透過新模型增強 RTX Remix 的AI紋理工具。

此外,NVIDIA 將讓使用者可以透過 REST API 取得 RTX Remix 工具套件的功能,讓模組製作者能夠即時連結 RTX Remix 與 Blender 等數位內容創作工具、Hammer 等模組製作工具,以及 ComfyUI 等生成式AI應用程式。另外,NVIDIA 將提供 RTX Remix Runtime 的 SDK,讓模組製作者可以將 RTX Remix 的渲染器部署到 DirectX 8 和 9 經典遊戲之外的其他應用程式和遊戲裡。

在開放更多 RTX Remix 平台原始程式碼的情況下,全球各地的模組製作者便能製作出更多令人驚嘆的 RTX 重製版遊戲。

Google Chrome、Microsoft Edge 和Mozilla Firefox 瀏覽器皆支援 NVIDIA RTX Video 這項熱門的AI超解析度(super-resolution)功能,現在已作為 SDK 提供給所有開發者使用,幫助他們以原生方式整合AI技術,進行影像升頻、銳化、壓縮失真減少和高動態範圍(HDR)轉換。

RTX Video 即將加入影片剪輯軟體 Blackmagic Design 的 DaVinci Resolve 和 Wondershare Filmora,它將使影片剪輯人員能夠將低畫質的影片檔案升頻至 4K 解析度,並且將標準動態範圍的原始檔案轉換成 HDR 檔案。此外,免費媒體播放程式 VLC media 將很快在其現有的超解析度功能中加入支援 RTX Video HDR。

Tags: