2024半導體大事回顧｜輝達AI晶片將每年換代！帶動液冷、HBM商機

瑞銀投資銀行台灣硬體科技研究部主管陳星嘉指出，輝達的激進換代策略為台灣廠商帶來新機會，但同時壓縮了產品從設計到出貨的時間。資金與整合能力強的一線廠商在這波競爭中更具優勢，尤其台灣ODM廠商將主導AI伺服器機架市場。其中，GB200 AI伺服器機架因其高技術與資金門檻，預期將帶來更高利潤。  

調研機構TrendForce預測，隨著大型雲端服務廠商（CSP）積極建置AI資料中心，AI晶片效能提升將推動記憶體與散熱技術需求同步增長。預估2025年，GB200機櫃方案正式放量出貨後，AI晶片的液冷散熱滲透率將從2024年的11%提升至24%。隨著晶片算力升級，熱設計功耗（TDP）顯著攀升。例如，NVIDIA推出的GB200 NVL72機櫃方案，其TDP高達約140kW，需採用液冷方案才能有效解決散熱問題，預計初期將以水對氣（Liquid-to-Air, L2A）方案為主流。

相關新聞：2024半導體大事Top 10｜AI浪潮繼續！台積電2奈米將登場　輝達GB200明年大出貨

NVIDIA表示，液冷技術比氣冷技術更有效率地將熱度從系統中帶走，使運算系統在處理大量工作負載時保持低溫。液冷設備相較於氣冷，不僅佔用空間更小、用電量更少，還能讓資料中心容納更多伺服器機架，以進一步提升運算能力。美超微執行長梁見後於COMPUTEX 2024指出，若全球資料中心全面採用液冷技術，每年可節省100億至200億美元的電費，並預測液冷應用將快速擴散。  

此外，液冷方案的發展也受到ESG意識抬頭的推動。Google在自研高階AI ASIC方面，已成為最積極採用液冷方案的雲端業者，而其他業者則仍以氣冷為主。隨著全球監管機構對節能要求的提升，散熱技術正逐步由氣冷轉向液冷。這一趨勢促使電源供應商、散熱業者及系統整合廠商紛紛投入AI液冷市場，形成新的產業競合態勢。  

HBM技術則是AI晶片升級的關鍵。隨著輝達AI晶片與台積電CoWoS技術密切合作，SK海力士與美光在HBM3e記憶體驗證方面已取得進展，預計年底完成驗證。然而，記憶體龍頭三星卻面臨進度落後的挑戰。為突破困境，三星記憶體業務總裁Jung-Bae Lee於SEMICON Taiwan大師論壇表示，計畫將邏輯晶粒整合至HBM底層，並開放IP供客戶設計基礎裸晶，市場解讀這可能與台積電合作，旨在突破HBM競爭困境。

TrendForce預測，2025年HBM市場仍處於高成長階段，隨著AI伺服器持續布建，在GPU算力與記憶體容量都升級的情況下，將帶動HBM規格容量上升，包括Blackwell平台將採用192GB HBM3e記憶體、AMD的MI325更是提升到288GB以上，但HBM生產難度高，良率有顯著提升空間，這也推升了生產成本，平均售價將是DRAM的3至5倍，等待HBM3e量產與產能擴張，預計營收貢獻將逐季成長。