美國軍機已經升空，官員才發現一個令人警覺的事實：驅動這次針對中國船隻武裝行動的情報，是由一個人工智能聊天機械人幻覺出來的。行動在最後一刻中止，勉強避免了一場可能與中國爆發的衝突。[1][2]
情報如何出錯
該份情報報告在對伊朗戰爭期間流傳，內容指該艘船隻載有核武計劃的組件。[1]
假情報源自一名特種作戰司令部分析員，他向人工智能聊天機械人查詢，要求整合開源數據與機密信號情報。聊天機械人誤認了船隻的貨物清單；分析員其後第二次使用該工具，把錯誤的發現格式化為看似官方的摘要，並在指揮渠道之間流傳。
軍方採用 AI 的張力
這宗幾乎出事的個案，正值美國軍方競相整合人工智能以加快決策、維持對中國的優勢。五角大樓曾形容人工智能在加快其殺傷鏈方面帶來顯著優勢，令指揮官可以在適當時機回應。然而，令人工智能具吸引力的同一種速度，也可能令幻覺在人類監督不足的情況下沿指揮鏈上傳。
GovAI 研究學者、退役美國陸軍軍官 Jake Steckler 向 TechCrunch 表示，讓軍人理解大型語言模型固有的不確定性十分重要，而對於任何可能導致使用武力的決策——例如目標選定、情報分析或作戰規劃——尤其關鍵，因為這些決定關乎生死。
應對方向
Steckler 認為，這宗事件應該促使各界為人工智能增加更多保障措施，而非成為避免使用它的理由。他表示，這些工具在適當情境與保障措施之下可以有用，但若把採用速度置於一切之上，很可能導致事故，令軍人對這些系統失去信任，最終只會拖慢採用步伐。
參考資料
[1] TechCrunch — AI hallucination nearly triggers US military operation