黃仁勳表示,一個AI代理(Agent)包含模型(Model)、框架(Harness)、工具與技能(Tools and Skills)以及執行環境(Runtime)等多個部分,這些元件分散於資料中心不同位置運作。他形容,模型如同大腦、框架像身體、工具則在執行環境中運作,整體就像工人在工作坊內操作工具,但規模遠超傳統軟體系統。
他指出,大型語言模型(LLM)在進行推理、觀察、上下文理解與規劃時,每次運算都可能啟動整櫃Grace Blackwell NVLink 72系統。未來AI代理也將從單純工具使用者,進化成高度複雜的工具操作者,包括Python、JavaScript、C編譯器與各類加速運算函式庫。
黃仁勳特別點名CUDA-X函式庫的重要性,認為未來AI代理將學會如何使用各種函式庫與技能,進一步解決高效能運算、模擬與科學運算問題。他形容,CUDA-X就像AI的「技能手冊」,未來將成為代理式AI生態系的重要核心。
除了GPU與大型語言模型外,黃仁勳也提到,AI系統未來將高度依賴CPU、DPU與安全處理器協同運作,其中BlueField DPU負責安全與資料保護,所有資料在靜止、傳輸與使用過程中都需全面加密,形成完整的機密運算(Confidential Computing)架構。
他指出,AI時代最困難的問題之一是記憶體系統,包括KV Cache、資料壓縮、檢索與非結構化資料關聯等問題,未來將推動儲存系統出現「顛覆性革命」。
黃仁勳也進一步提出「AI工廠(AI Factory)」概念。他表示,過去輝達主要是打造GPU與系統,現在則是協助客戶建立完整AI基礎設施與AI工廠。AI工廠的規模與複雜度極高,過去1GW等級資料中心建置成本約200億至300億美元,如今已提高至500億至600億美元,未來甚至可能突破1000億美元。
他強調,如此高額的AI工廠投資,必須在第一次啟用時就順利運作,因此輝達開始透過Omniverse進行完整數位模擬,提前在虛擬世界中建造與驗證大型AI基礎設施,並建立名為DSX的新基礎設施平台。其中RTX代表GPU、DGX代表系統,而DSX則代表整體AI基礎設施。
黃仁勳表示,正因輝達掌握完整硬體、軟體與函式庫堆疊,因此即使是新創公司,也能在輝達協助下快速成長為全球級AI雲端服務商。他點名CoreWeave、Lambda、Together AI、Naver Cloud、Yotta與GMI等業者,認為AI將在全球各地普及,每個區域都會建立自己的AI工廠。
談到AI基礎設施經濟學時,黃仁勳直言:「運算現在就是收入。」他表示,在1GW固定供電條件下,每瓦吞吐量都直接等於收入與利潤,因此「每瓦Token產出量」將成為AI資料中心最重要的競爭力。
他認為,真正關鍵的不只是晶片價格,而是整體系統吞吐量、可靠性與生命週期。由於AI模型與軟體架構持續快速演進,從CNN、Transformer到Mixture of Experts與Agentic AI,每隔幾個月就會出現新技術,因此生態系與軟體相容性將決定AI基礎設施的長期價值。
黃仁勳也宣布,新一代AI平台Vera Rubin已正式進入全面量產(Full Production)。他透露,Vera Rubin供應鏈規模已達Grace Blackwell兩倍,同時原本需要2小時組裝的Grace Blackwell機櫃,如今已縮短至5分鐘,大幅提升產能與部署速度,以支撐全球快速成長的AI需求。
點擊閱讀下一則新聞