NVIDIA表示,物理AI系統必須具備感知、推理與預測物理環境的能力,才能在真實世界中快速做出決策。過去,邊緣裝置部署高效能AI模型,往往必須在模型能力與部署效率間取捨,而Cosmos 3 Edge採用混合Transformer架構,兼顧推論效能與部署效率,可在裝置端支援以物理世界為基礎的即時視覺分析與機器人動作控制。

Cosmos 3 Edge可理解並生成文字、影像、影片、環境音及動作等多模態內容,並在VANTAGE-Bench視覺分析成功率評比中,於同級參數模型排名第一,也支援後訓練(Post-training),讓開發者可依不同場域需求打造專屬世界模型。

在機器人應用方面,開發者可利用DGX Station桌上型AI超級電腦,以專屬機器人及感測器資料對Cosmos 3 Edge進行後訓練,再部署至Jetson Thor平台,執行操作、移動等即時控制策略。目前Agile Robots、斗山機器人、西門子及Skild AI等合作夥伴,皆已評估將Cosmos 3 Edge導入機器人工作流程。

在自駕車領域,Cosmos 3 Edge可支援道路場景理解、交通推理、物件意圖預測及策略模型蒸餾,並可搭配NVIDIA Alpamayo視覺語言動作模型使用,協助提升自駕系統推論能力。

在智慧基礎設施方面,Cosmos 3 Edge可於Jetson Thor平台執行即時推論,協助視覺代理分析交通監控、公共安全、物流及工業檢測等即時影像;同時也可搭配NVIDIA Nemotron推理模型,在Jetson Orin 8GB等裝置上執行。Centific、Vaidio及聰泰科技目前也正評估導入Cosmos 3 Edge,加速邊緣AI視覺代理部署。

NVIDIA表示,Cosmos 3平台目前提供Edge(40億參數)、Nano(160億參數)及Super(640億參數)三種版本,開發者可依不同開發階段與應用需求選擇模型,涵蓋從邊緣部署到高擬真內容生成等應用。Cosmos 3 Edge、Cosmos 3 Nano及Cosmos 3 Super目前已於Hugging Face開放下載,相關推論框架、後訓練工具及實作指南也同步於GitHub提供。

作者簡介

呂承哲

壹蘋新聞網財經科技記者,專注半導體、AI與新能源產業,追蹤台積電、輝達及台廠電子供應鏈動態,並解析市場投資趨勢。


點擊閱讀下一則新聞 點擊閱讀下一則新聞
晟德5.5億加碼引正基因!躍第二大股東 攜順藥攻基因治療新商機