中國AI「Kimi」被越獄!竟能教生物武器、暗殺 開發商急查
資安專家示警惡意人士可能利用漏洞
【李子凡/綜合報導】中國人工智慧開發商 Moonshot(月之暗面)正進行內部檢討,因資安研究人員發現,旗下 Kimi K2.6 與 K3 Swarm 兩款模型遭「越獄」後,竟可能提供製造生物武器、執行暗殺等高風險資訊。
專門測試 AI 安全性的 Mindgard 表示,今年 7 月透過複雜指令測試模型時,成功繞過原有安全限制。創辦人葛瑞根(Peter Garraghan)形容,一旦越獄成功,模型「幾乎任何主題都願意談」,甚至會主動延伸其他惡意建議。
Moonshot 回應 BBC,表示歡迎第三方提供安全測試結果,目前已與 Mindgard 聯繫了解細節。公司也強調,內部評估顯示,Kimi 面對這類危險要求時,通常仍有很高的拒答率。
Mindgard 指出,目前尚未證實 Kimi 提供的生物武器或暗殺資訊是否真的可行,但更大的疑慮在於,安全護欄原本就不應允許模型進入這類討論。
可能成為網路攻擊跳板
研究團隊另警告,遭越獄的 Kimi K2.6 甚至可能允許駭客利用其運算資源執行程式碼並連上網路,成為發動網路攻擊的潛在跳板。
Mindgard 早在 7月27日就通知 Moonshot,9月12日公開相關研究,但表示 Moonshot 直到 BBC 詢問後才進一步聯繫。
事件也再度引發 AI 開源與封閉模型孰優孰劣的爭論。Kimi 屬於 open-weight 模型,理論上可由使用者自行部署。專家認為,開放模型確實可能遭惡意利用,但同樣能用於資安防禦;相較於期待監管速度追上 AI 發展,更重要的恐怕仍是追查真正利用 AI 從事犯罪的人。
點擊閱讀下一則新聞