美光資深副總裁暨核心資料中心事業群總經理Jeremy Werner、美光資深副總裁暨行動與用戶端事業群總經理Mark Montierth，以及美光副總裁暨運算產品事業群總經理Praveen Vaidyanathan於2日共同出席COMPUTEX全球媒體記者會，分享美光在AI記憶體與儲存領域的最新技術布局與市場觀察。
AI重塑資料中心架構 HBM與DDR5需求同步升溫
Jeremy Werner表示，生成式AI正推動運算產業迎來重大典範轉移。為支援大型語言模型（LLM）訓練與推論需求，全球資料中心正加速建構由數千顆處理器組成的大型運算叢集，使整體系統如同單一超級電腦般運作。相較傳統伺服器，AI伺服器的運算瓶頸已逐漸從處理器轉向記憶體與儲存系統，頻寬、容量與功耗成為影響AI效能的核心因素。
他指出，隨著AI模型規模持續擴大，資料中心對記憶體頻寬與容量的需求快速增加，若無法同步提升能源效率與系統擴充能力，未來資料中心將面臨龐大的電力與散熱壓力，因此高效能記憶體與儲存產品的重要性正快速提升。
HBM方面，美光HBM3E可提供超過1.2TB/s頻寬，並較競品降低約30%功耗。目前24GB 8層堆疊產品已量產並導入輝達H200平台，而新一代36GB 12層堆疊產品則可在相同封裝面積下提升50%容量，目前已開始送樣，預計下半年量產。
至於下一代HBM4產品，輝達執行長黃仁勳近日也證實，包括SK海力士、三星電子與美光等三大記憶體原廠均已完成驗證，顯示AI記憶體競賽正持續升溫。
除了HBM，美光也持續強化DDR5布局。Jeremy Werner表示，公司採用32Gb單晶粒技術打造DDR5產品，可提供128GB與256GB大容量模組，傳輸速度最高達8000 MT/s，協助客戶提升伺服器記憶體容量與整體運算效能。
針對需要更高頻寬的AI工作負載，美光也推出MRDIMM產品，透過多組記憶體Rank設計，提供最高達傳統DIMM兩倍的頻寬表現，鎖定AI推論與高效能運算（HPC）市場，首代產品已支援Intel Xeon 6處理器平台。
資料中心市場外，美光也看好AI PC、智慧裝置與邊緣AI帶來的新一波需求。公司持續布局低功耗、高頻寬記憶體與儲存產品，其中LPDDR5X主打低功耗與高頻寬特性，可滿足AI裝置長時間運作需求；儲存產品方面則推出採用第九代QLC與TLC NAND技術、支援PCIe Gen5介面的高效能SSD，期望同時掌握AI資料中心與終端裝置升級所帶來的市場商機。
AI真正價值來自邊緣端 代理式AI將走入生活場景
Mark Montierth表示，未來AI將深度融入日常生活，並透過代理式AI改變人們與科技互動的方式。
他舉例，當使用者離家後，智慧家庭可自動切換至節能與安全模式，割草機器人自主完成工作，自駕車負責接送行程，居家設備則能在返家前提前啟動空調與完成各項準備。在醫療領域，AI代理也可於醫師看診前先整合檢查結果，過濾不必要資訊後交由大型語言模型分析，協助醫師快速掌握重點並提升診療效率。
Mark Montierth指出，這些應用雖然都建立在AI技術，但真正創造價值的關鍵在於AI能直接運行於使用者身邊的邊緣裝置，並非完全依賴遠端資料中心。隨著代理式AI逐漸普及，終端裝置除了需要更強大的運算能力，也必須兼顧隱私與安全性。由於AI代理需要了解個人健康、生活習慣與使用偏好，因此許多資料必須在本地端完成分析與決策。
他表示，成本效益也將成為重要考量。未來家庭甚至可能部署具備AI伺服器能力的設備，在本地端完成推理與Token生成工作，以降低雲端運算成本。產業架構也正從資料回傳雲端後再處理，逐步轉向資料在邊緣端即時分析與決策的新模式。
Mark Montierth強調，無論是自駕車、機器人或割草機器人等自主設備，都需要具備即時判斷能力，例如辨識障礙物、避開寵物或調整行進路線等，相關運算必須在邊緣端快速完成，這也將成為未來AI發展的重要方向。
AI PC、家用AI伺服器興起 終端記憶體需求升級
在媒體問答環節，美光指出，隨著代理式AI與地端AI運算快速發展，未來PC、家庭AI伺服器及各類智慧裝置的硬體架構將與傳統電腦明顯不同。
由於AI代理需要同時處理大量資料與模型運算，系統將需要更大的統一記憶體、更高容量與更佳散熱設計，部分平台甚至可能需要128GB以上記憶體容量。
美光表示，未來AI設備將不再只是執行單一應用程式，而是同時運行多個AI代理，因此對記憶體容量、頻寬與能源效率的要求將大幅提升。美光也看好家用AI伺服器發展，認為未來部分AI推理工作將於本地端完成，以降低雲端運算成本與延遲。
針對輝達Vera平台導入LPDDR5X設計，美光指出，公司已與輝達合作近四年推動相關技術發展。雖然最初屬於特定平台方案，但目前正逐步朝向產業標準發展，未來有望獲得更多SoC平台採用。
GDDR、企業SSD同步受惠 資料中心與邊緣AI將長期共存
儲存方面，美光6500 ION NVMe SSD主打高容量與低功耗特性，除了傳統資料儲存用途外，也廣泛應用於AI訓練與推理環境，可快速將大量資料傳送至GPU叢集，同時控制整體電力消耗。
美光強調，從HBM3E、DDR5到企業級SSD，目前已建立完整的AI資料中心產品組合，多項產品已量產或進入送樣階段，可望持續受惠AI基礎建設擴張帶來的市場需求。
對於外界關注邊緣AI是否衝擊雲端資料中心發展，美光認為兩者將長期共存。簡單且即時的工作將逐步移至手機、PC與邊緣設備執行，而大型模型訓練、科學模擬及企業級AI應用，仍將持續仰賴大型資料中心支援。
美光認為，GDDR憑藉高頻寬特性，仍是遊戲、影像處理及部分AI工作負載的重要選擇。隨著多模態AI興起，涉及影片、影像與多代理協同運算的應用增加，GDDR需求仍具成長潛力，也顯示AI時代的記憶體需求將不再侷限於資料中心，而是同步向終端裝置與邊緣運算市場全面擴散。
點擊閱讀下一則新聞
