輝達Blackwell參與Llama 3.1 405B 預訓練測試出爐 效能大增2.2倍
【記者呂承哲／台北報導】輝達（NVIDIA）正與全球企業並肩推動AI工廠，加快訓練及部署採用最新訓練與推論技術的下一代 AI 應用。NVIDIA宣布，在最新一輪 MLPerf Training 測試中，Blackwell 架構即展現出驚人效能，特別是在業界最具挑戰性的「Llama 3.1 405B 預訓練」項目中成功完成所有測試，並刷新多項基準紀錄，象徵 Blackwell 已正式接棒成為生成式 AI 訓練平台的新標竿。測試結果顯示，Blackwell 架構在相同規模下的效能較上一代提升達 2.2 倍，強化其在大型語言模型訓練領域的領先地位。
NVIDIA 的 Blackwell 架構專為滿足這些對效能需求日漸升高的新型應用而打造。在最新一輪 MLPerf Training 測試中，同時也是自 2018 年推出這項基準測試以來的第 12 輪測試，NVIDIA AI 平台在每項基準測試中均展現出最大規模效能，並驅動該基準測試中最具挑戰性的大型語言模型（LLM）測試項目「Llama 3.1 405B 預訓練」的所有結果。
NVIDIA 平台是唯一在每項 MLPerf Training v5.0 基準測試中均有提交結果的平台，這突顯其在各種 AI 工作負載中的卓越效能與任務多樣性，包括大型語言模型、推薦系統、多模態大型語言模型、物體偵測與圖神經網路（GNN）。
這次大規模提交的測試結果使用兩部搭載 NVIDIA Blackwell 平台的 AI 超級電腦：Tyche 採用 NVIDIA GB200 NVL72 機架規模系統打造，Nyx 則以 NVIDIA DGX B200 系統為基礎。此外，NVIDIA 也與 CoreWeave 和 IBM 合作，提交 GB200 NVL72 的測試結果，共使用 2,496 顆 Blackwell GPU 與 1,248 顆 NVIDIA Grace CPU。
在最新的 Llama 3.1 405B 預訓練基準測試中，Blackwell 的效能較上一代架構在相同規模下高出 2.2 倍。在 Llama 2 70B LoRA 微調基準測試中，搭載 8 顆 Blackwell GPU 的 NVIDIA DGX B200 系統效能，較上一輪使用相同數量 GPU 的測試結果提升達 2.5 倍。
點擊閱讀下一則新聞
