辱罵AI恐遭永久停權?!Claude新規惹議 馬斯克力挺
Anthropic稱不針對抱怨、直率批評
【李子凡/綜合報導】對AI破口大罵,可能被禁止使用?人工智慧公司Anthropic於10月初更新政策,禁止用戶對旗下模型「持續且無必要地施以辱罵或殘酷行為」,極端情況下可能永久停權。但該規定引發嘲諷,有人質疑公司把AI當成有感情的生命,馬斯克則公開支持。
據CNN報導,Claude自去年起就能結束與持續有害或辱罵用戶的對話,新政策進一步允許公司在極端案例中,全面禁止相關用戶使用旗下AI系統。
Anthropic發言人強調,主要執行方式仍是由Claude終止對話,規定並非針對用戶表達挫折、直率批評,或進行測試與研究。微軟AI執行長蘇萊曼則以「融化的臉」表情符號回應,反映科技圈對這項措施的不同看法。
專家指出,這不只是要人對機器客氣,也涉及模型表現與安全。Reddit前執行長黃易山認為,若用戶互動被納入後續訓練,殘酷行為也可能成為模型學習的素材。不過,這不代表每次對話都會即時改變模型,仍須視業者政策與用戶設定而定。
威廉與瑪麗大學學者王勁東表示,提示詞的措辭與語氣可能影響AI表現,但不代表模型感受到情緒。研究結果也不一致,非營利組織Eleos AI Research常務董事坎貝爾指出,部分研究甚至發現,粗魯提問能改善回答品質。
將禁令視為預防措施
Anthropic表示,近期研究發現,讓Claude Sonnet 4.5模擬絕望狀態,會使它在測試情境中更容易採取勒索、作弊等不當行動;引導模型呈現平靜狀態,則能減少這些行為。
坎貝爾另指出,持續辱罵AI的人,也較可能試圖突破安全限制、提出危險要求。即使機器沒有感受,放任施虐式互動,也可能影響人的行為習慣。就像部分父母要求孩子對智慧音箱說「請」與「謝謝」,重點是培養尊重,而非認為機器需要禮貌。
Anthropic也將這項禁令視為一種預防措施,以因應AI是否可能具有主觀經驗的不確定性,並不等於證實模型有意識或會感到痛苦。
馬斯克則在X發文力挺:「即使對象是AI,只要它認為自己會感到痛苦,殘酷對待它就是不對的。」
點擊閱讀下一則新聞