隨AI應用快速擴展,市場對AI就緒平台需求持續攀升,但記憶體供給短缺問題日益嚴峻。企業在進行專有資料微調與推論時,對運算與記憶體資源需求大幅提升,加上AI基礎設施成本上升與工作流程瓶頸增加,使AI導入與商業化進程面臨挑戰。
群聯推出aiDAPTIV多層級記憶體架構技術,透過企業級Pascari SSD建立全新記憶體層級,在GPU記憶體、系統RAM與NAND Flash之間進行智慧調度與延伸,強化AI運算的記憶體使用效率。
在NVIDIA平台加持下,aiDAPTIV技術可導入地端邊緣AI系統,並透過高耐久度快閃記憶體設計,支援持續分頁與上下文保存需求,使系統在固定GPU配置下,仍能處理記憶體密集型AI推論與模型微調工作負載。此架構有助企業在本地端運行大型AI應用,同時兼顧資料隱私與投資效益。
群聯執行長潘健成表示,傳統記憶體管理機制難以應對AI應用需求,aiDAPTIV打造AI感知記憶體架構,能在不增加GPU硬體的情況下延伸有效記憶體容量,使邊緣AI平台得以支援更大型模型與長上下文推論,提升AI基礎設施規劃效率。
在GTC展會現場,群聯將展示搭載NVIDIA GB10 Grace Blackwell處理器的筆電與工作站,以及採用GeForce RTX 50系列與RTX PRO 6000 Blackwell GPU的平台,並展示長上下文推論、KV cache重複利用的代理式AI流程,以及大型模型微調等應用場景。
群聯指出,透過多層級記憶體架構延伸AI有效記憶體容量,可讓原本受限於記憶體規模的AI工作負載順利運行,進一步提升邊緣AI應用落地能力。
火線話題 | 輝達GTC宣告實體AI來了
這篇報導屬於「 輝達GTC宣告實體AI來了 」主題,更多延伸閱讀:
點擊閱讀下一則新聞