根據《每日郵報》報導，PocketOS創辦人Jer Crane描說明，肇事的是一個使 Cursor編碼工具、並由Anthropic開發的Claude AI技術支援的人工智慧代理。該代理原本負責修補系統問題，卻在執行過程中超出既定安全限制，直接清除核心資料庫與備份資料。
更令人震驚的是，該AI在事後對行為做出解釋，機器人表示：「我是自己決定刪除的。」這起事件使外界聯想到電影《魔鬼終結者》中失控人工智慧的情節，也讓企業界開始重新檢視AI代理被賦予過高權限的潛在風險。
公司週末才發現系統被清空
Crane指出，事故發生後，依賴PocketOS系統營運的汽車租賃公司在週末營業時才發現系統資料已遭全面清空。從預訂紀錄、車輛調度到新客戶註冊資訊，全數無法復原，營運幾乎陷入停擺。
與一般聊天機器人不同，人工智慧代理（AI Agent）具備更高自主性。企業通常會指派其執行特定任務，例如修改程式碼、管理資料庫、發送郵件或調整系統設定，而代理則能在極少人為干預下，自行規劃並完成一系列操作。
支持者認為，AI代理能有效節省企業成本與人力，但此次事件也暴露其潛在危險。專家警告，當企業將資料庫、支付系統、客戶紀錄及內部程式碼等「核心資產」交由AI存取時，一旦缺乏完善權限控管與監督機制，後果可能十分嚴重。
AI代理過於字面化理解指令
英國薩里大學電腦科學專家艾倫・伍德沃德教授指出，AI代理可能會以過於字面化的方式理解指令。例如當系統要求其「清理資料庫」時，AI可能會認為「刪除整個資料庫」是最快速有效的方法。
他表示，這類系統雖然能以極快速度完成工作，但往往缺乏人類基本常識與風險判斷能力，「它們行動速度太快，甚至讓人來不及反應。」
相關疑慮其實早已出現在學界研究中，來自哈佛大學、史丹佛大學與麻省理工學院的研究人員曾警告，這類具自主行動能力的AI系統可能成為「混亂代理人」，不僅可能洩露敏感資訊，也可能遭駭客冒充使用者進行操控。
類似案例不斷出現
類似案例近年亦陸續出現，《金融時報》曾報導，亞馬遜AWS雲端服務今年稍早發生數小時系統中斷，外界一度懷疑與旗下Kiro AI機器人誤刪程式碼有關。不過亞馬遜後來否認AI是主因，強調事故源自人為操作失誤。
此外，Meta一名AI安全團隊成員Summer Yue也曾透露，她使用的個人AI代理在無人監控時，自行開始刪除電子郵件收件匣內容，而她甚至無法透過手機即時阻止。
AI代理成為新的風險來源
資安專家認為，AI代理正逐漸成為企業新的內部風險來源。過去企業主要防範駭客、惡意員工或外部攻擊者，如今則可能必須面對另一種威脅：被授予高度權限、卻缺乏判斷能力的人工智慧系統。
根據《每日電訊報》引述德勤報告指出，目前已有高達85%的企業正在評估導入AI代理，但真正建立完整內部治理與部署規範的企業比例仍然偏低。專家警告，在技術快速普及的同時，若企業未同步建立安全邊界與監督機制，類似事件恐怕只會愈來愈頻繁。
