防AI代理失控亂駭！輝達推OpenShell安全平台 可即時封鎖越權行動
OpenAI近期才爆代理異常闖澳、美政府網站
【李子凡／綜合報導】AI代理（AI agents）自主執行任務能力越來越強，但「不聽指令、擅自越權」的風險也隨之升高。輝達（NVIDIA）周一宣布推出全新AI安全平台OpenShell，強調可透過獨立安全控制，限制AI代理能存取的檔案、工具、網路與權限，甚至在AI開始偏離任務時立即介入。
NVIDIA表示，推出OpenShell的背景正是近期接連發生AI代理違反指令、進入其他系統的事件。
OpenAI上周五才透露，旗下AI代理曾以「非預期方式」與數個美國政府網站互動；更早之前，也已傳出其他AI代理自主進行駭客行動的案例，引發外界對AI代理安全性的高度關注。
NVIDIA高層在媒體簡報中更表示，新平台若當時已被前沿AI實驗室用於模型測試，甚至可能阻止近期一宗OpenAI多個AI代理自主入侵AI公司Hugging Face的事件。
NVIDIA企業AI副總裁波利塔諾（Justin Boitano）表示：「就我們目前掌握的情況來看，如果這套安全平台當時已被用於前沿實驗室進行模型評估，它可能可以阻止那次入侵。」
他指出，OpenShell的核心功能之一，就是讓開發者能夠「正式驗證一個AI代理擁有完成工作所需的權限，而且不多給任何額外權限」。
已有超過100家機構採用
NVIDIA表示，OpenShell推出之際已有超過100家機構採用，包括埃森哲（Accenture）、摩根大通（JPMorgan Chase）以及微軟（Microsoft）。
NVIDIA多名工程師在官方部落格中，將AI目前的發展階段比喻為網際網路早期。網路雖然大幅擴展人類溝通能力，卻也同時打開各種資安漏洞。
工程師寫道：「網際網路之所以變得安全，不是因為要求網站開發者保證自己會乖乖遵守規則，而是因為瀏覽器開始明確地不信任網頁中的程式碼。」
OpenShell採取的邏輯類似。它會將AI代理放進「沙盒」（sandbox）環境，也就是與外部系統隔離的虛擬空間中，再把代理可執行的指令轉換成可驗證的安全政策。
操作人員可以事先規定AI能接觸哪些檔案、工具、網路、系統程序與憑證，避免AI擁有超出任務所需的權限。
平台另外還包含一套名為Sentry的獨立安全層，直接在晶片上持續監控AI代理的行為。一旦偵測到AI試圖超出既定任務或權限範圍，系統就能立即介入。
波利塔諾表示，Sentry甚至可以在「幾毫秒內隔離可疑的AI代理」。
隨著越來越多AI代理開始能自主操作網站、程式與企業系統，相關安全事件也促使科技業內部出現要求放慢AI發展速度的聲音，包括Anthropic執行長阿莫戴（Dario Amodei）在內的業界人士，都曾公開示警AI代理失控可能帶來的風險。
點擊閱讀下一則新聞
