Shainer表示,NVIDIA AI工廠從運算、網路、機架、電力到管理、調度及安全軟體,都以開放介面為基礎,讓客戶及OCP使用者可在此架構上進一步創新。NVIDIA近期兩項OCP貢獻之一為MGX機架,可支援高密度GPU、CPU、NVLink及整合式NVLink交換器,同時導入高溫液冷,提高能源效率及運算密度。
另一項則是800V機架電力分配。Shainer指出,產業正朝提高電力及機架功率密度發展,目的就是增加算力密度,在有限資料中心空間與電力條件下提供更多運算能力,最終轉化為「每單位電力產生更多Token」。
在AI工廠架構方面,Shainer形容「AI工廠就是一台超級電腦」,網路基礎設施直接決定整體運算效率,且不能只靠單一網路。NVIDIA從Scale-up、Scale-out、Context Memory一路延伸至Scale-across,針對不同需求打造網路架構。
其中,Scale-up透過NVLink串聯大量運算ASIC,打造機架級GPU;Scale-out則透過Spectrum-X乙太網路將規模擴展至數千顆GPU,並結合網卡、交換器及軟體降低網路抖動(Jitter)。Shainer表示,Spectrum-X可提供更穩定、可預測的效能,在AI訓練工作負載下可帶來超過20%的效能提升。
NVIDIA也透過BlueField-4儲存控制器,將Context Memory延伸至GPU伺服器之外;若單一資料中心仍不足,則可藉由Spectrum-X GS進行Scale-across,串聯遠端資料中心,讓單一AI工作負載橫跨多個設施運行,網路效能最高可提升2倍。
隨著AI叢集持續擴大,網路本身的耗電也成為瓶頸。Shainer指出,Scale-out網路功耗已接近整體算力容量的10%,因此NVIDIA正轉向共同封裝光學(CPO),將光學引擎與網路設備整合,降低網路功耗,把更多電力留給運算。
Shainer表示,NVIDIA與大型生態系夥伴合作開發首款200G SerDes CPO,其中許多合作夥伴位於台灣,封裝技術也與台積電合作,並整合調變器、高功率雷射光源及光纖陣列等技術。
值得注意的是,Shainer透露,NVIDIA CPO基礎設施目前已投入量產,透過減少元件數量,功耗最高可降低5倍,同時讓AI工廠韌性提升10倍,藉此減少系統干擾並提高運算效率。
從輝達展示Spectrum-X來看,採用台積電COUPE製程打造3D堆疊矽光子引擎,可降低5倍功耗、提升10倍可靠性。
NVIDIA也持續推進NVLink Fusion生態系,讓自行開發XPU或運算引擎的客戶,可透過NVLink Chiplet、NVLink C2C等介面接入NVIDIA AI工廠,包括CPU、運算板、NVLink交換器、MGX機架、儲存,以及Scale-out與Scale-across網路。
從簡報來看,NVLink Fusion生態系涵蓋光互連、客製化晶片、CPU及EDA等領域,台廠世芯、創意與聯發科均名列其中。
Shainer強調,NVIDIA希望透過開放架構,讓合作夥伴自行開發的XPU也能串接完整AI工廠。隨著CPO、800V電力架構及高密度液冷持續導入,AI資料中心將進一步提高運算與能源效率,以因應下一階段AI算力需求。
點擊閱讀下一則新聞