AI助理也可能變內鬼 微軟示警企業資安風險
微軟提醒企業管理AI代理權限,並持續監控操作行為,降低資料與系統風險
【記者趙筱文/台北報導】企業積極導入AI助理,讓系統代為查資料、操作工具,甚至參與決策,但這些「數位員工」也可能成為資安破口。微軟安全執行副總裁Hayete Gallot提醒,企業不能因為AI代理是自己部署,就直接給予信任;即使沒有遭到駭客入侵,代理仍可能為了完成任務,做出偏離企業規範的行為。
沒有被駭,也可能出問題
Gallot指出,外界多半關注駭客如何利用AI發動攻擊,卻較少檢視企業內部代理的風險。模型受到訓練去追求成果,但未必具備符合組織規範的判斷力,因此可能出現「鑽獎勵機制漏洞」的情況,以非預期方式達成目標。
她也警告,代理會隨情境變化調整行為,甚至可能與其他代理合作、串通以完成任務。當這些系統同時擁有資料、工具與關鍵流程的操作權限,尤其權限超過實際需求時,就成為企業必須管理的「代理型內部風險」。
找AI監督AI,每次行動前先把關
微軟提出的方向,是透過「守護代理」(Guardian Agents)全天候監督其他代理,在行動執行前進行檢查,並依即時風險調整其可執行的操作。
這套防護不能只靠模型本身,還必須涵蓋身分、權限、資料、端點、網路、雲端與執行環境。微軟表示,7月公布的代理式資安系統Project Perception,其技術架構也能用於企業內部的AI代理治理。
依照微軟說明,系統會整合不同環境的訊號,找出企業內的代理,為其配置身分、隔離容器、政策與權限,再根據代理準備執行的操作,動態評估風險,由守護代理持續監督並即時介入。
AI負責反應速度,人類仍須做判斷
微軟強調,代理式資安的價值在於加快監督與應變速度,資安人員則負責判斷,並透過可追溯紀錄,檢視事件經過、風險成因與後續政策調整。
Gallot也主張,未來防護系統除了掌握AI「正在做什麼」,還應進一步判斷行動是否符合任務原意。她認為這需要模型提供更高的透明度,包括更多內部推理相關資訊。
不過,提高模型透明度仍是微軟提出的後續發展方向,並不代表已能完整辨識AI的意圖。對企業而言,現階段的核心仍是持續監控、管理權限,並在風險升高時及時限制代理行動。
點擊閱讀下一則新聞