AI狂吞Token撞「記憶體牆」！HBM從邊緣走向運算核心 狂堆疊迎3挑戰
【記者呂承哲／台北報導】AI模型從大型語言模型（LLM）走向多Agent、長上下文及推理應用，算力持續暴增，瓶頸卻逐步從運算轉向記憶體。從imec重新設計HBM系統架構、SK海力士推進HBM規格及封裝，到Google重構TPU並壓縮KV Cache，產業正從不同層級迎戰AI「記憶體牆」。
三星3D記憶體再進化！zHBM、zNAND-O亮相 喊話與台廠攻破兩道AI高牆
...今年已取得實際晶片及封裝，並搭配NPU進行驗證。以Llama 3 8B模型測試，採用PIM後每秒輸出...
亞灣超算5MW AI叢集正式上線 首批客戶進駐、使用率逾9成
... Cloud驗證計畫即透過DeepSeek-V3、Llama 3.1、Qwen3及Grok-1等大型...
Meta放大招！全新ＡＩ號稱超強多工 登入方式「讓人毛毛的」
...kerberg)對公司原有AI進展不滿有關，尤其是Llama系列被認為落後ChatGPT與Claud...
就會討好！史丹佛研究：AI給的情緒價值其實在害人
...laude、Google的Gemini、Meta的Llama，以及Mistral、阿里巴巴、Deep...
Meta Llama 3.2正式上太空 助太空人離線查資料、即時決策
Meta開放原始碼的AI模型「Llama 3.2」，現在不只在地球紅，也要在外太空發光了。美國科技公...
Meta揭曉Llama 4系列模型！全面採用MoE架構 超越GPT-4o表現
...timodal-intelligence/)指出，Llama 4 Scout為一款具備170億活躍參...
真人客服要失業？ Airbnb證實三成客服AI接手
...le任職16年，並在Meta領導生成式AI團隊開發Llama模型。 「讀心術」App：在阿爾達赫勒...
輝達Blackwell參與Llama 3.1 405B 預訓練測試出爐 效能大增2.2倍
...測試中最具挑戰性的大型語言模型（LLM）測試項目「Llama 3.1 405B 預訓練」的所有結果。...
北美五大CSP資本支出年增4成 ASIC AI伺服器占比創2023年新高
【記者呂承哲／台北報導】隨著北美雲端服務供應商（CSP）持續加碼AI基礎設施投資，根據根據TrendForce最新AI server（AI伺服器）研究，2026年全球出貨量將年增逾28%。隨著AI推論服務帶來龐大運算負載，通用型server亦進入新一波汰換與擴張週期，帶動2026年全球server（含AI server）出貨量年增12.8%，成長幅度較2025年進一步擴大。
Meta「Llama影響力研究獎金計畫」申請開跑 最高可獲3.5萬美元獎金
...發者崇尚開源精神，透過科技協助社會大眾改善問題，自Llama 2與Llama 3發布後，已有超過1億...
輝達Blackwell GPU首次測試亮相 在Llama 2 70B推論效能提高4倍
...心，在處理 MLPerf 最大的 LLM 工作量 Llama 2 70B 之際，首次測試的結果顯示其...
輝達Blackwell Ultra橫掃MLPerf七大測試 FP4精度首秀創AI訓練新紀錄
...kwell Ultra 擁有跨世代強化的架構設計，Llama 3.1 405B 預訓練效能提升超過 ...
輝達神助攻！平台全面最佳化 加速 Meta Llama 3 AI推論
...ntum-2 InfiniBand 網路連接，對 Llama 3 進行了訓練。在 NVIDIA 的支...
美媒：傳Meta重組AI業務 約600個職位被裁撤
...的母公司Meta在6月時，因為高層人事異動與其開源Llama 4模型反應不佳，將AI相關業務重組歸納...
AI工廠時代標竿！輝達Blackwell橫掃InferenceMAX測試 投報率飆15倍
...penAI（gpt-oss 120B）、Meta（Llama 3 70B）及DeepSeek AI（...
合作夥伴力挺！輝達Blackwell Ultra推論效能優異 AI部署投報率更佳
...中心基準上均創新高，包括 DeepSeek-R1、Llama 3.1 405B Interactiv...
鴻海推出繁中大型語言模型FoxBrain 將於輝達GTC大會專題演講亮相
FoxBrain採用 Meta Llama 3.1 為基礎架構，擁有 70B 參數，在 TMMLU+...
輝達RTX PRO伺服器加速AI工廠發展！供應鏈全曝光 這些台廠吃香
...習、適應與互動能力的自主系統。例如，NVIDIA Llama Nemotron Super 推理模型...
「AI領域的台積電」輝達推出AI Foundry服務 協助企業打造客製化模型
... Retriever微服務，以提供精準回應的客製化Llama 3.1 NVIDIA NIM 微服務。...
loading
