隨著AI訓練、推論與代理式AI快速發展，資料中心對記憶體容量、頻寬與能源效率的需求大幅提升。大型模型參數、長上下文視窗以及持久性KV快取等應用，使記憶體容量與效能逐漸成為資料中心架構的關鍵瓶頸。美光指出，在功耗與散熱條件日益嚴格的環境下，LPDRAM憑藉高效能與低功耗優勢，正成為AI與通用運算伺服器的重要解決方案。
美光雲端記憶體業務部門資深副總裁暨總經理Raj Narasimhan表示，256GB SOCAMM2為AI與高效能運算提供具能源效率的CPU附加記憶體方案，結合先進封裝與高密度設計，打造業界容量最高、功耗最低、體積最小的模組化記憶體解決方案。他指出，美光率先推出32Gb LPDRAM單晶粒，將有助於推動業界加速導入更高容量且更節能的資料中心架構。
在效能與容量方面，256GB SOCAMM2較前一代192GB模組提升約三分之一容量，單顆8通道CPU最高可支援2TB LPDRAM，可因應更大上下文視窗與複雜推論工作負載。同時，SOCAMM2功耗僅為同級RDIMM約三分之一，模組尺寸亦縮小至三分之一，有助提升機架密度並降低整體營運成本。
在推論效能方面，美光表示，在整合記憶體架構中，256GB SOCAMM2可用於KV快取卸載，使長上下文即時大型語言模型（LLM）推論的首個Token生成時間提升2.3倍；在CPU運算環境中，LPDRAM每瓦效能也較主流記憶體模組高出3倍以上。
SOCAMM2採模組化設計，可提升維護性與系統擴充能力，並支援液冷伺服器架構，以滿足AI資料中心未來持續成長的記憶體需求。美光目前亦與輝達（NVIDIA）合作設計先進記憶體方案，優化次世代AI基礎架構。
NVIDIA資料中心CPU產品部門主管Ian Finder表示，AI基礎架構需要在每個層面進行最佳化，美光256GB SOCAMM2在維持低功耗的同時提供大容量與高頻寬，將為次世代AI CPU平台帶來重要助力。
美光指出，公司持續在JEDEC SOCAMM2標準制定中扮演關鍵角色，並與系統設計業者合作推動次世代資料中心平台發展。目前256GB SOCAMM2已進入客戶送樣階段，美光亦提供涵蓋8GB至64GB元件與48GB至256GB模組的完整LPDRAM產品組合。
點擊閱讀下一則新聞
