AI狂吞Token撞「記憶體牆」！HBM從邊緣走向運算核心　狂堆疊迎3挑戰

HBM不能再靠堆更多　imec把記憶體搬進AI核心

全球半導體研發創新機構imec執行長范登納米勒（Patrick Vandenameele）指出，AI工作負載正從龐大、均質的單一模型，轉向由多個較小且專業化模型構成的多Agent系統，不同Agent之間需要持續通訊、推理及更新狀態，對運算、記憶體容量及互連頻寬提出更高要求。

研究顯示，多Agent AI系統的計算負載可能達目前最先進LLM的150倍，未來每個Agent可能分別對映至不同XPU，各自搭配專用加速器，也需要大量記憶體儲存及更新運算狀態。

然而，HBM無法隨運算需求無限制增加。范登納米勒指出，若只是持續在XPU周邊配置更多HBM，最終將受到晶片面積、功耗、資料傳輸及封裝複雜度限制，下一步不能只是「增加更多HBM」，而要重新思考記憶體與運算單元的配置，提高既有HBM被不同運算單元共享的效率。

在imec描繪的下一代AI架構中，大量XPU將整合於大型中介層（Interposer）上，HBM不再主要排列於運算晶片周圍，而是移至整個運算系統中央，縮短XPU與HBM間的資料傳輸距離。

此外，HBM之間則配置CPU，並在CPU上方整合光學交換器（Optical Switch），由CPU負責協調及互連控制，光學交換器讓光訊號直接路由，不必轉換回電訊號。相鄰XPU與記憶體仍透過電學連接，較長距離則由光學互連處理，在大型中介層形成「光學高速公路」，任一XPU連結其他XPU或HBM最多僅需兩跳。

更重要的是，原本分散在不同XPU周邊的HBM，可進一步整合為不同運算單元及Agent共同使用的「統一記憶體池（Memory Pool）」，依不同工作負載彈性調度，降低部分XPU記憶體不足、其他XPU容量閒置的浪費。

除了系統架構，imec的DRAM技術路線圖已延伸至2040年代初期，預計約每2年持續縮小一次節距，最終朝垂直堆疊發展，並提出「嵌入式記憶體中介層」，持續把記憶體拉近核心邏輯晶片。

HBM4頻寬衝3TB/s　SK海力士迎戰頻寬、功耗、容量

SK海力士總監Seungtaek Yang則指出，AI與HBM已形成「共生關係」，沒有AI爆發式成長，HBM不會如此快速擴張；反之，沒有HBM，現代AI也無法發展至目前規模。

AI對記憶體的壓力正急速增加。上下文視窗從早期約1K Token，提高至GPT-3.5的4K、GPT-4的32K、LLaMA 3.1的128K，目前前沿模型更來到約100萬Token，短短6年放大1000倍，LLaMA 4等架構更瞄準1000萬Token。

由於KV Cache會隨序列長度線性擴張，HBM容量及頻寬必須持續提升。

Token生成量也同步爆發，從2022年第1季全球約0.2兆個，至2026年第1季已超過8000兆個。除了更長上下文，多模態及推理模型產生大量Token，同樣對記憶體形成壓力。

HBM因此持續進化。從HBM2至HBM3主要採1K-bit寬I/O，HBM4進一步擴大至2K-bit，匯流排寬度翻倍，資料頻寬最高達每秒3TB，未來HBM4E、HBM5還將持續提升；單顆DRAM Die容量也從HBM2的16Gb，提高至HBM3E的24Gb或32Gb，堆疊則從HBM3最高12層朝HBM4的16層發展。

但Yang指出，下一代HBM同時面臨頻寬、功耗及容量3大挑戰。客戶要求速度提升甚至超越既有HBM路線圖，更高頻寬也帶來更高功耗與散熱壓力；資料中心逐步逼近電力極限，能源效率若無法同步改善，將增加資本支出及營運成本；容量則受到封裝高度限制。

從12層走向16層、20層甚至更多層，還須克服晶片極薄化、Bump Pitch縮小及翹曲控制。針對16層HBM，SK海力士評估先進封裝技術MR-MUF及直接混合鍵合兩條路徑，現階段優先採用已驗證的MR-MUF，並透過高效能模塑材料及結構翹曲控制實現16層堆疊。

更長期則瞄準Die-to-Wafer直接銅對銅混合鍵合，可在標準封裝厚度內提高容量、縮小互連間距，熱阻相較MR-MUF最多降低10%。到了HBM5，公司進一步將高導熱元素嵌入高功率熱點，新散熱架構可再將熱阻最多降低12%，因應更高頻寬帶來的熱流與局部熱點。

Google直面「記憶體牆」　TPU首度訓練、推論分流

當imec與SK海力士分別從架構及HBM技術解題，Google面對的則是AI大規模部署後已經發生的「記憶體牆」。Google供應鏈基礎設施資深總監Nikhil Cherian指出，隨生成式AI走向圖片、音訊、影片及AI Agent，Google已從受限於FLOPS算力，轉向嚴格受到記憶體頻寬限制，記憶體更成為AI伺服器總持有成本（TCO）的主要驅動因素。

Cherian指出，記憶體需求主要來自三大方向，包括Gemini等模型採用混合專家模型（MoE），數百個專家權重須常駐記憶體；Agentic AI從一次性問答走向持續數天甚至數月的自主多輪推理，大量上下文必須留在記憶體；以及KV Cache快速膨脹，與模型權重爭奪容量。高併發推論環境下，若處理器因等待記憶體頻寬而閒置，也代表AI資本支出無法充分利用。

面對記憶體牆，Google今年首度將TPU硬體策略分流，同年推出訓練用TPU v8t及推論用TPU v8i。TPU v8t可串聯9600顆晶片形成單一Superpod，提供121 ExaFLOPS算力及2PB記憶體；TPU v8i則將晶片內SRAM提高3倍至384MB，HBM容量增加50%至每顆288GB，讓活躍KV Cache盡量留在晶片端，降低資料搬移。

軟體方面，Google透過TurboQuant演算法將KV Cache記憶體需求壓縮至原本六分之一，同時維持模型準確度，但Cherian直言，即使壓縮6倍，「對Google的企圖而言，記憶體仍然不夠」。

供應鏈方面，Google則與記憶體供應商長期合作、共同投資產能，同時翻新退役伺服器、回收零組件，並開發特殊硬體介面轉接器，讓DDR4等舊世代記憶體重新導入新一代AI伺服器。

AI算力競賽轉向記憶體　資料搬移成關卡

從imec、SK海力士到Google的布局，可以看出單純增加算力或HBM數量已不足以解決問題。imec選擇重新設計系統，將HBM搬進運算核心並建立統一記憶體池；SK海力士則持續提高HBM頻寬與堆疊層數，並以MR-MUF、混合鍵合及新散熱架構突破物理限制；Google則從實際AI工作負載出發，將TPU訓練與推論分流，並透過KV Cache壓縮降低記憶體負擔。

當AI走向長上下文、多Agent及高併發推論，瓶頸已不只是晶片能算多快，而是資料能否快速儲存、共享及搬移。從統一記憶體池、下一代HBM到TPU軟硬體協同設計，記憶體與資料搬移效率正逐步成為下一階段AI系統擴張的關鍵。