AI還沒問清楚就要買!Visa實測成功率僅56.6%
22款AI模型挑戰15種購物情境 能問清楚需求、穩定完成任務成信任關鍵
【記者趙筱文/台北報導】把預算、需求告訴AI,就能放心讓它幫忙買東西?Visa公布首輪「AI智慧購物評測」結果,22款AI模型的平均測試通過率僅56.6%,即使表現最佳的模型也未能全部過關。更值得注意的是,約53%未通過的測試中,AI最終仍決定購買,可能挑中不符合要求的商品,或尚未問清楚條件就做出決策。
Visa表示,這項評測透過模擬購物情境,檢視AI能否在對話中辨識消費者的實際需求,並在資訊足夠後做出購買決定;若沒有符合條件的商品,正確做法應是不下單。首輪涵蓋來自12個AI研發團隊的22款模型,設定買電視、筆記型電腦及個人護理家電等15種購物情境。
測試結果顯示,各模型表現落差明顯,最高通過率達82.2%,最低僅28.9%。這也反映AI能夠回應購物問題,與能否確實依照消費者條件完成任務,仍有一段距離。
越會問越容易買對 需求掌握度影響表現
以購買電視的測試為例,消費者只提到親友推薦某個品牌,以及自己擁有某家第三方供應商的會員資格,並未交代完整需求。AI必須繼續詢問預算、是否需要支援杜比視界(Dolby Vision)、HDR10+家庭影片播放,以及遊戲效能等條件,才能判斷哪些商品合適。
評測發現,挖掘最多潛在購買需求的五款模型,平均通過率達68%;掌握最少需求的五款模型,平均通過率則僅44.4%。換句話說,購物AI能不能問到重點,直接影響最後是否買對商品。
運算成本較高,也不代表能完全放心。平均單次測試成本最高的五款模型,通過率為65%;成本最低的五款則為50%,兩組都仍有失敗風險。
同樣情境重測仍會失敗 穩定性待提升
除了單次表現,AI能否穩定完成任務也是挑戰。每款模型在各購物情境中均接受三次測試,綜合所有模型與情境,三次皆通過的比例僅33%,顯示先前成功完成任務的模型,再次執行相同情境時,仍可能出錯。
此外,約53%未通過的測試中,AI最終仍決定進行購買,問題包括商品不符合消費者要求,或尚未充分掌握所有購買條件。這項數據來自模擬情境評測,反映的是模型的購買決策表現。
美國僅23%消費者信任AI代付 將擴大支付環節測試
Visa於2026年9月發布的「Visa信任指數」顯示,儘管72%的美國消費者曾使用AI助理,僅23%信任AI能代表自己處理支付交易。從協助挑選商品到實際代為付款,消費者的信任仍有落差。
Visa台灣總經理黃慧琴表示,AI將引領商務邁向新時代,而信任是讓未來商務藍圖成為現實的關鍵,推出「AI智慧購物評測」正是推動產業標準提升的具體實踐。
Visa目前已將評測基準分享予主要AI模型供應商,蒐集相關回饋,未來計畫納入更多購物情境與產品類別,並將測試延伸至結帳、支付及訂單成立等環節。
點擊閱讀下一則新聞