生成式人工智慧（AI）正在快速改變各產業的發展樣貌，帶動對安全且高效能推論解決方案的需求，以有效率又具備成本效益的方式擴充日益複雜的模型。
擴大與 NVIDIA 的合作範圍，Amazon Web Services（AWS）今日在 AWS re:Invent 年度大會上宣布已經將NVIDIA NIM 微服務擴展至主要的 AWS AI 服務，以支援更快速的 AI 推論，以及減少生成式 AI 應用的延遲時間。
NVIDIA NIM 微服務現在可以直接在 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 取得，讓開發人員可以更輕鬆為常用模型大規模部署經過 NVIDIA 最佳化的推論功能。
NVIDIA NIM 是 AWS Marketplace 提供的 NVIDIA AI Enterprise 軟體平台一部分，為開發人員提供一套簡單易用的微服務，專為在跨雲端、資料中心和工作站安全可靠地部署高效能、企業級 AI 模型推論而設計。
這些預先建置的容器建置在強大的推論引擎上，例如 NVIDIA Triton 推論伺服器、NVIDIA TensorRT、NVIDIA TensorRT-LLM 與 PyTorch，並支援廣泛的 AI 模型，從開源社群模型到 NVIDIA AI Foundation 模型與客製化模型。
NIM 微服務可以部署於各種 AWS 服務，包括 Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）、Amazon Machine Image（AMI）及 Amazon SageMaker。
開發人員可以在NVIDIA API 目錄上預覽超過 100 個由常用模型與模型系列所建立起的 NIM 微服務，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 與 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等。最常用的模型都可自行託管部署在 AWS 服務上，並且經過最佳化，能夠在 AWS 上的 NVIDIA 加速運算執行個體上運行。
現在可直接在 AWS 上取得的 NIM 微服務包含：
– NVIDIA Nemotron-4 可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 上取得。這是一款尖端的大型語言模型，專門用於產生近似真實世界資料的多樣化合成資料，可增強多個領域客製化大型語言模型的效能與穩健性。
– Llama 3.1 8B-Instruct 開放在 AWS Marketplace 上取得。這個有著 80 億個參數的多語言大型語言模型已針對語言理解、推理和文字產生使用個案進行預先訓練及指令調校。
– Llama 3.1 70B-Instruct 可以在 AWS Marketplace 上取得。這個有著 700 億個參數，且完成預先訓練、指令調校的模型已針對多語言對話進行最佳化。
– Mixtral 8x7B Instruct v0.1 能夠在 AWS Marketplace 上使用。這個權重開源的高品質稀疏混合專家模型可以遵循指令、完成請求與產生創意的文字格式。
各產業的客戶及合作夥伴都在利用 AWS 上的 NIM 來加快上市速度、維持生成式 AI 應用與資料的安全性及控制力，並降低成本。
IT 諮詢與數位服務供應商 SoftServe 已開發出六個完全部署在 AWS 上，且由 NVIDIA NIM 與 AWS 服務加速的生成式 AI 解決方案。這些解決方案在 AWS Marketplace 上提供，包括 SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。
這些解決方案均以 NVIDIA AI Blueprints 為基礎，這套全面性的參考工作流程能夠加快開發和部署 AI 應用，並且具備 NVIDIA 加速函式庫、軟體開發套件及 NIM 微服務，適用於 AI 代理、數位孿生等方面。
開發人員可以按照自己的獨特需求與要求，在 AWS 上部署 NVIDIA NIM 微服務。如此一來，開發人員和企業就能藉由各種 AWS 服務，利用經過 NVIDIA 最佳化的推論容器發展出高效能 AI。
