亞馬遜（Amazon）旗下Amazon Web Services（AWS）於AWS re:Invent全球盛會上宣布，自研晶片的兩個系列推出新一代，包括AWS Graviton4和AWS Trainium2，為機器學習（ML）訓練和生成式人工智慧（AI）應用等廣泛的工作負載提供更高性價比和效能。
Graviton4和Trainium2是AWS自研晶片的最新創新，AWS每一代自研晶片都持續提升性價比和效能，為客戶提供了使用AMD、Intel以及NVIDIA等最新晶片和執行個體組合之外的更多選擇，進而使Amazon Elastic Compute Cloud (Amazon EC2)可以為客戶虛擬運行幾乎所有應用和工作負載。
• Graviton4與前一代Graviton3處理器相比，效能提升高達30%，獨立核心增加50%以上，記憶體頻寬提升75%以上，為在Amazon EC2上運行的工作負載提供最佳效能和能源效率。
• Trainium2與第一代Trainium晶片相比訓練速度提升多達4倍，並能在EC2 UltraClusters中部署多達100,000個晶片，可以在極短的時間訓練基礎模型（FMs）和大語言模型（LLMs），同時能源效率提升多達2倍。
AWS運算與網路服務副總裁David Brown表示：「晶片是客戶所有工作負載的基礎，這也是為什麼AWS一直將此領域視為至關重要的創新領域。透過將晶片設計聚焦於客戶真正關心的實際工作負載，我們能夠為客戶提供最先進的雲端基礎設施。Graviton4是我們在短短五年推出的同系列第四代，是我們至今功能最強大和最具能源效率的晶片，支援客戶廣泛的工作負載。隨著生成式AI引起廣大的關注，Tranium2可以幫助客戶以更低的成本和更佳的能源效率，更快地訓練機器學習模型。」
如今，AWS在全球大規模提供的使用Graviton的Amazon EC2執行個體種類達150多個，已經建構的Graviton處理器數量超過200萬個，並擁有超過50,000客戶。這些客戶涵蓋了EC2最大的前100個客戶，他們應用使用Graviton的執行個體獲得最佳的性價比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe以及Zendesk等客戶正採用使用Graviton的執行個體運行廣泛的工作負載，包括資料庫、資料分析、網路服務器、批次處理、廣告服務、應用伺服器以及微服務等。隨著客戶把更大的記憶體資料庫和分析工作負載遷移到雲端，對運算、記憶體、儲存和網路的要求也隨之增加。為此，客戶需要更高效能和更大的執行個體來運行這些要求嚴苛的工作負載，同時需要優化成本。針對這些工作負載，客戶還希望能使用更加節能的運算資源，減少對環境的影響。目前，很多AWS的託管服務都支援使用Graviton，包括Amazon Aurora、Amazon ElastiCache、Amazon EMR、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service (Amazon RDS)、AWS Fargate 以及AWS Lambda等，將Graviton的性價比優勢帶給使用這些服務的客戶。
Graviton4處理器相比Graviton3處理器效能提升30%，獨立核心增加50%以上，記憶體頻寬提升75%以上。Graviton4還進一步透過完全加密高速物理硬體介面提升了安全性。Amazon EC2 R8g記憶體優化執行個體將採用最新的Graviton4，提升客戶運行高效能資料庫、記憶體緩存、大數據分析等工作負載的效率。R8g執行個體相比前一代R7g執行個體提供更大的執行個體大小，虛擬處理器（vCPU）以及記憶體均提升了3倍。這讓使用者可以處理更大量的資料、更大規模的工作負載、更快獲得運行結果，並降低擁有權總成本。使用Graviton4的R8g執行個體現已提供預覽版，並將在未來幾個月推出正式可用版。
如今日益增加的生成式AI應用背後的基礎模型和大語言模型需要使用海量的資料進行訓練。這些模型透過創造文字、音訊、圖片、影片、甚至軟體程式碼等大量新的內容，幫助客戶重構使用者體驗。當今最先進的基礎模型和大語言模型通常包含數千億甚至數萬億個參數或變數，需要能夠支援上萬機器學習晶片進行擴展的可靠高效能運算能力。AWS現已提供廣泛而深入的機器學習晶片支援的Amazon EC2執行個體選項，包括最新的NVIDIA GPU、Trainium以及Inferentia2。
Databricks、Helixon、Money Forward以及Amazon Search團隊等眾多客戶都在使用Trainium訓練大規模深度學習模型，受益於Trainium的高效能、可擴展、可靠以及低成本等諸多優勢。然而即便已經在使用當今最快的加速執行個體，客戶仍然希望獲得更強的效能和規模來訓練這些日益複雜的模型，從而提高訓練速度、降低成本，同時降低能源消耗。
Trainium2晶片專為以高效能訓練具有數萬億個參數或變數的基礎模型和大語言模型而打造。Trainium2與第一代Trainium晶片相比，效能提升多達4倍，記憶體提升3倍，能源效率（每瓦效能）提升多達2倍。Amazon EC2 Trn2執行個體採用最新的Trainium2，一個單獨執行個體包含16個Trainium加速晶片。Trainium2執行個體致力於為客戶在新一代EC2 UltraClusters中擴展多達100,000個Trainium2加速晶片，並與AWS Elastic Fabric Adapter（EFA）PB級網路互連，提供的產能高達65 exaflops（exaflops指10的18次方，百億億次），客戶可按需獲得超級運算級別的效能。有了這個級別的規模，客戶可在數週而非數月就能訓練完成一個具有3千億參數的大語言模型。透過顯著降低的成本提供最高橫向擴展的模型訓練，Trainum2執行個體可以幫助客戶開啟並加速生成式AI的新一輪創新。欲了解更多Trainum2的相關資訊，請至：aws.amazon.com/machine-learning/trainium/。
Anthropic是一家AI安全和研究公司，是負責任地部署生成式AI的主要推廣者，致力於打造可靠、可判斷和可控的AI系統。Anthropic自2021年開始使用AWS，近期Anthropic推出了Claude，一款專注於提供幫助、無害且誠實的AI助手。Anthropic聯合創辦人Tom Brown表示：「自支援Amazon Bedrock以來，Claude已獲得AWS客戶的廣泛採用。Trainium2將幫助我們大規模建構和訓練模型，對於一些工作負載，Trainium2相比第一代Trainium晶片速度提升了至少4倍。我們與AWS的合作，將助力各種規模的組織有機會同時受益於Anthropic安全並先進的AI系統以及AWS可靠的雲端技術，進而開創新的可能性。」
Databricks幫助全球超過10,000家組織機構，包括Comcast、Condé Nast及50%以上的財富500強企業，統一資料、分析和運用AI。Databricks生成式AI副總裁Naveen Rao表示：「數千家客戶在AWS上運用Databricks，使用MosaicML對各種用例的基礎模型進行預先訓練、微調及其他操作。AWS Trainium為我們提供了訓練Mosaic MPT模型所需要的規模、高效能以及低成本。Trainium2使更快地建構下一代Mosaic MPT模型成為可能，讓我們有機會為客戶提供前所未有的規模和效能，助力他們比以往更快地推出自己的生成式AI應用。」
