AMD很高興地發表首次MLPerf基準測試之結果,並在更新的MLCommons網站上展示搭載AMD Instinct MI300X GPU進行測試的結果。
MLPerf有多種基準測試類型,包括MLPerf Inference: Datacenter、MLPerf Training以及於2024年推出的尖端大型生成式人工智慧(AI)語言模型Llama 2 70B。AMD選擇了受歡迎且具有重要意義的大型語言模型(LLM)Llama 2 70B進行首次MLPerf基準測試。
AMD在MLPerf Inference v4.1(MLPerf 4.1推論)中為Llama 2 70B提出3項成果並展示出:
· 市場上最適合用於AI任務的AMD CPU和GPU組合。
· MI300X擁有192GB的大容量記憶體,讓單一MI300X GPU可執行整個Llama 2 70B模型,而大多數競爭對手的GPU則需要將該模型拆分至多個加速器上執行。
· AMD新一代CPU如何提升AI任務的效能。
在MLPerf 4.1推論中,AMD的結果展現出搭載ROCm的MI300X為Llama 2 70B等大型LLM提供卓越的推論效能,且與其他業界領先者如Nvidia H100在Llama 2 70B LLM模型上的測試結果不分軒輊。
Tags: AMD