Counterpoint表示，傳統 DRAM 在頻寬與延遲方面的限制，使其逐漸難以應對生成式 AI 的需求。而高頻寬記憶體（HBM），透過矽穿孔技術（Through-Silicon Via, TSV）堆疊 DRAM 的設計，不僅大幅提升運算效率，更成為高效能運算領域的技術突破。3D-IC 和 CoWoS 等先進封裝技術，將廣泛應用於智慧型手機和個人電腦等領域。這些技術在降低延遲與能耗的同時，能有效控制成本與體積，特別適合空間與資源有限的智慧型手機市場。
Counterpoint認為，儘管目前無法準確預測 2030 年生成式 AI 模型的主流類型與數量，持續推動支援架構的進步與生態系統的建設，將是應對未來變化的核心策略。生成式 AI 模型（如大型語言模型 LLM、大型視覺模型 LVM 等）對記憶體的需求涵蓋訓練與推理兩大應用場景。此外，訓練過程中需要高頻寬記憶體以處理龐大數據，高頻寬記憶體（HBM）因其層疊設計與高速傳輸能力，成為首選解決方案。
推理過程則需要低延遲記憶體以支撐即時決策。DRAM 雖然目前在成本與性能之間達到平衡，但隨著 AI 模型日益複雜，先進封裝技術（如 3D-IC 和 CoWoS）正被採用，以提升速度和頻寬，並加強記憶體與處理器的整合。HBM 憑藉其層疊設計提供遠高於傳統 DRAM 的頻寬，但高成本仍是一項挑戰。未來，透過縮小 DRAM 製程節點並增加層疊數量，HBM 的容量將進一步提升，以滿足生成式 AI 和深度學習對高效能計算的需求。
Counterpoint分析，記憶體處理器（Processor In Memory, PIM）技術將數據處理直接整合至記憶體層，有效消除處理器與記憶體之間的瓶頸，顯著提升 AI 應用對高頻寬和低延遲的性能需求。生成式 AI 的快速發展對記憶體技術提出全新要求。從先進封裝到處理器記憶體融合，記憶體解決方案將在推動生成式 AI 技術進步中扮演重要角色。
展望未來，到 2027 年，隨著半導體製程進入 2nm 以下，智慧型手機等移動裝置預計將更多地採用先進記憶體技術，全方位支撐生成式 AI 的應用需求。
點擊閱讀下一則新聞
