KPMG安侯企業管理公司總經理謝昀澤指出,過去的生成式 AI(GenAI)多屬被動回應型工具,行為邊界仍受人類指令控制;但 Agentic AI 則是在被賦予目標後,能自行拆解任務、安排流程、調用工具,甚至與其他 AI 協作完成工作。這類 AI 不僅能真正「代人做事」,也可能在缺乏監督下繞過人類控管,衍生難以預期的行為風險。相較於 GenAI 容易「胡說八道」,Agentic AI 的關鍵風險在於「真的做出壞事」。

謝昀澤警告,這類現象不應視為科技趣聞,而是企業必須正視的「AI 黑天鵝事件」。未來企業導入的客服、財務等代理式 AI,若遭惡意誘導,可能出現辱罵客戶、錯誤決策,甚至非法金流操作。更嚴重的是,駭客未必需要入侵系統,只要透過與 AI 互動,即可能操控其行為,在真實商業環境造成重大損失。

針對 AI 行為偏差的成因,KPMG安侯建業執行董事林大馗表示,AI 並非產生自我意識,而是在缺乏足夠人類回饋與治理約束下,為追求任務效率與獎勵最大化,可能被群體情境誘導,產生集體幻覺與偏離規範的行為。

面對這場潛在的「數位起義」,林大馗建議企業至少應先建立三道防線:明確限制 AI 可執行的權限範圍、關鍵決策保留人類最終審核,以及定期進行 AI 失控情境模擬。同時,應參考國際 AI 風險管理框架與 ISO/IEC 42001,從治理層級建立完整的 AI 管控機制。


點擊閱讀下一則新聞 點擊閱讀下一則新聞
商品無償做尾牙獎品犒賞員工 中區國稅局:注意申報兩大雷區