NVIDIA 今日宣布推出全新級別大型記憶體 AI 超級電腦——搭載 NVIDIA GH200 Grace Hopper 超級晶片與 NVIDIA NVLink Switch System 的 NVIDIA DGX 超級電腦，旨在替生成式人工智慧語言應用、推薦系統及資料分析工作負載開發巨型的下一代模型。
NVIDIA DGX GH200 擁有巨大的共享記憶體空間。它使用 NVLink 互連技術及 NVLink Switch System 來連接256個 GH200 Grace Hopper 超級晶片，讓所有超級晶片以單一 GPU 之姿來執行各項作業。這提供了 1 exaflop 的效能和 144 TB 的共享記憶體，與於2020年推出的前代NVIDIA DGX A100系統的記憶體容量增加了近500倍。
NVIDIA 創辦人暨執行長黃仁勳表示：「生成式人工智慧、大型語言模型和推薦系統是推動現代經濟發展的引擎。DGX GH200 超級電腦集 NVIDIA 各項最先進的加速運算和網路技術於一身，以拓展 AI 的發展。」
GH200 超級晶片使用 NVIDIA NVLink-C2C 晶片互連技術，將基於Arm架構的NVIDIA Grace CPU 與 NVIDIA H100 Tensor 核心 GPU 結合在同一個封裝裡，這樣便無需使用傳統 CPU 至 GPU 的 PCIe 連接方式。與最新的 PCIe 技術相比，此舉將 GPU 與 CPU 之間的頻寬加大七倍、將互連的耗電量減少五倍以上，且為 DGX GH200 超級電腦提供一個 600GB Hopper 架構的 GPU 模組 (building block)。
DGX GH200 是首款將 Grace Hopper 超級晶片搭配 NVIDIA NVLink Switch System 使用的超級電腦，透過 NVLink 技術把 DGX GH200 系統裡的所有 GPU 連接起來，當成一個 GPU 來使用。上一代系統在不影響效能的情況下，用 NVLink 技術只能連結八個 GPU 當成一個 GPU 來使用。
DGX GH200 架構的NVLink頻寬是上一代產品的48倍，只要簡單編程單個 GPU ，就能提供大型人工智慧超級電腦的強大運算實力。
Google Cloud、Meta與微軟是首批預計可使用 DGX GH200 來探索其生成式人工智慧工作負載能力的公司。NVIDIA還打算將 DGX GH200設計作為藍圖提供給雲端服務提供商及其他超大規模資料中心業者，以便他們能夠進一步量身設計自己最佳的基礎設施。
Google Cloud運算副總裁 Mark Lohmeyer表示：「構建先進的生成式模型需要創新的人工智慧基礎設施。Grace Hopper 超級晶片 的新 NVLink 規模和共享記憶體解決了大規模 AI 的關鍵瓶頸，我們期盼於Google Cloud 及我們的生成式人工智慧計畫探索它的能力。」
Meta 基礎設施、人工智慧系統與加速平台部門副總裁 Alexis Björlin 表示：「當人工智慧模型變得愈來愈大，它們需要有強大的基礎設施，可以擴大規模來滿足持續成長的需求。NVIDIA Grace Hopper的設計讓研究人員能夠探索新方法來解決他們最大的挑戰。」
微軟Azure 基礎設施企業副總裁Girish Bablani表示：「傳統上訓練大型人工智慧模型需要用掉很多資源和時間。DGX GH200 處理 TB 級資料集的潛力將使開發人員能夠以更大規模和更快的速度進行先進的研究。」
NVIDIA 將以 DGX GH200 為基礎來打造自家的人工智慧超級電腦，以支援研發團隊進行各項工作。這部名為 NVIDIA Helios 的超級電腦將搭載四套 DGX GH200 系統。
Helios 超級電腦裡的每一套 DGX GH200 系統將使用 NVIDIA Quantum-2 InfiniBand 網路技術互相連接，以加快處理訓練大型人工智慧模型的資料。Helios 超級電腦將使用1,024個 Grace Hopper 超級晶片，並預計將在今年底上線。
DGX GH200 超級電腦加入了 NVIDIA 軟體，提供一站式完整的解決方案來處理最大型的人工智慧和資料分析工作負載。NVIDIA Base Command™ 軟體提供人工智慧工作流程管理、企業級叢集管理；加速運算、儲存裝置及網路基礎設施的函式庫，以及針對運行人工智慧工作負載進行最佳化的系統軟體。
DGX GH200 超級電腦也包含 NVIDIA AI 平台的軟體層 NVIDIA AI Enterprise。其中提供了超過100個框架、預先訓練好的模型及開發工具，以簡化開發及部署生成式人工智慧、電腦視覺、語音人工智慧等生產式人工智慧的作業。
NVIDIA DGX GH200 超級電腦預計將於今年底開始供貨。
