競賽相關新聞與內容整理|壹蘋新聞網

共有 3104 項結果


AI狂吞Token撞「記憶體牆」!HBM從邊緣走向運算核心 狂堆疊迎3挑戰

AI狂吞Token撞「記憶體牆」!HBM從邊緣走向運算核心 狂堆疊迎3挑戰

【記者呂承哲/台北報導】AI模型從大型語言模型(LLM)走向多Agent、長上下文及推理應用,算力持續暴增,瓶頸卻逐步從運算轉向記憶體。從imec重新設計HBM系統架構、SK海力士推進HBM規格及封裝,到Google重構TPU並壓縮KV Cache,產業正從不同層級迎戰AI「記憶體牆」。

loading