美國軍方人工智慧虛假情報報告：事件經過及重要性

據報道，美國軍方一次因人工智慧輔助情報報告而險些釀成大禍的事件，已成為一個引人深思的案例，揭示了一個更為廣泛的問題：生成式人工智慧可以加快分析速度，但速度並不等同於準確性。在高風險環境下，如果決策者無法了解情報來源、假設和不確定性，那麼看似完美的答案也可能帶來危險。

根據CNN 2026年9月18日的原始報道（引用四位知情人士的話），在兩伊戰爭期間，一份情報報告在美國軍方內部流傳，聲稱一艘在中東的中國船隻載有與核武計畫相關的部件。 CNN報道稱，美軍已做好攔截該船的準備，軍用飛機也已升空，但隨後官員們重新審視了這份情報報告的分析結果。

據報道，審查發現聊天機器人錯誤地識別了船上的貨物。 CNN也通報稱，人工智慧再次被用於將分析結果整理成標準的情報報告格式。這第二步至關重要，因為權威的格式可以讓薄弱的分析看起來比實際上更可信。

公眾所知的資訊有諸多限制。 CNN表示，他們無法確定被誤認的貨物究竟是什麼，也無法確定聊天機器人是商業系統還是政府產品。五角大廈和美國太平洋特種作戰司令部均未就此事回應CNN的通報。因此，截至目前，該事件僅屬於新聞報道，而非國防部公開發布的調查報告或事後報告。

為什麼這起報告事件很重要

眼下最令人擔憂的並非只是人工智慧系統可能發表了錯誤言論。眾所周知，生成式人工智慧系統會輸出聽起來很有把握但缺乏依據的訊息，美國國家標準與技術研究院（NIST）將這種風險歸類為「捏造」。 NIST的生成式人工智慧概況指出，組織機構應積極衡量和管理這種風險，而不是想當然地認為可以消除。

更嚴重的失誤發生在系統產生的聲明在機構內部流轉過程中缺乏足夠的阻力時。如果系統給出的答案被轉換成人們熟悉的格式，透過可信管道傳播，並在未經獨立核實的情況下就被採納，那麼模型的不確定性就會消失，而文件的機構權威性卻會提升。

速度會壓縮人們產生懷疑的時間。

軍事組織重視決策速度，原因不難理解。美國國防部2023年發布的《數據、分析和人工智慧應用戰略》明確將人工智慧與更快、更好的決策連結起來，同時也將保障和負責任的人工智慧置於其需求層級中。只有當更快的決策速度與足夠強大的驗證能力結合時，這些目標才能相容。

因此，一項有效的品質測試並非“人工智慧生成評估報告的速度有多快？”，而是“審核人員能夠多快地驗證每一項具有實際操作意義的聲明？”如果驗證時間增加而撰寫時間減少，工作流程表面上看起來高效，但實際上是將工作和風險轉移到了下游。

源融合可能會隱藏錯誤的起始位置。

CNN報導，這款聊天機器人結合了開源資料和機密訊號情報。這種綜合方式固然有價值，但也帶來了溯源問題。審閱者需要了解哪些結論來自哪個來源，哪些是直接觀察到的，哪些是推論出來的，哪些是由模型產生的。

當這些差異被簡化成一個流暢的敘述時，審查者可能無法判斷關鍵語句反映的是原始情報、人類分析判斷，還是人工智慧產生的推論。當該論點可能引發不可逆轉的行動時，這種情況尤其危險。

高品質的AI輔助智慧工作流程應該產生什麼

面對此類故障，最有效的因應措施並非一概而論地認定人工智慧永遠不安全。更佳的做法是定義可觀察的品質關卡。以下檢查能夠簡化輸出審核流程，並清楚揭示何時需要調整工作流程。

美國現有的國防原則已經指向這些管制措施。

美國國防部的AI倫理原則之所以重要，是因為它們強調人的責任、可追溯性、可靠性和可治理性。國防部2021年的實施備忘錄指出，人員應運用適當的判斷力和謹慎態度，AI方法和資料來源應向相關人員透明且可審計，並且應在其既定用途範圍內對各項功能進行測試和驗證。該備忘錄的來源文件是國防部關於實施負責任人工智慧的備忘錄。

對於自主和半自主武器系統，美國國防部第3000.09號指令要求具備適當的人工判斷、符合實際的測試、穩健性以及透明或可審計的資料來源和技術。該指令本身並不適用於所有情報分析聊天機器人，因此不應將其作為所報告的工作流程違反特定武器政策的證據。但它仍然可以作為國防部更廣泛的安全邏輯的佐證：影響重大決策的系統需要明確的限制、測試、監督，以及在行為不可信時終止系統的機制。

組織何時應該停止使用生成式模型並轉向其他方法？

一項切實可行的AI政策應包含明確的退出條件。當系統無法提供可靠的來源證明、當一項主張可能直接影響武力使用、當模型被要求推斷模糊不清的貨物或設備的身份或用途，或當審查人員無法根據基礎證據重現結論時，團隊應停止不受約束的生成。

在這些情況下，更安全的替代方案可能是僅檢索系統，該系統會傳回相關的來源段落，而不產生新的事實結論。另一種選擇是結構化決策支持，其中模型可以組織證據，但不允許填補缺失的事實。對於後果最嚴重的問題，適當的方法可能是傳統的人工分析，機器輔助僅限於搜尋、翻譯、轉錄或文件分類。

合適的閾值取決於誤差的後果。用於匯總後勤備忘錄的模型與輸出結果可能影響攔截、打擊或升級決策的模型，對殘餘不確定性的容忍度可能不同。

如何判斷保障措施是否真正有效

政策本身並不足夠，組織必須衡量其成效。有用的指標包括：具有直接來源引用的高影響力論點的百分比、審閱者發現缺乏依據的模型斷言的頻率、發布後撤回或更正的報告數量、驗證關鍵論斷所需的平均時間，以及人工智慧建議在獨立審查後更改的頻率。

另一個有價值的訊號是分歧。如果第二位分析師或另一個模型基於相同的證據得出了截然不同的解釋，那麼就應該提高審查力度，而不是自動進行平均。分歧可以揭示原本會被單一答案掩蓋的模糊之處。

品質評估也應在實際壓力下進行。一套在實驗室中運作良好的工作流程，如果分析人員時間緊迫、工作負荷過重或資訊不完整時出現故障，則說明該流程尚未準備好用於重要的實際操作。相關的測試對像是完整的人機系統，而不是孤立的模型。

這一集並不能證明什麼。

此次險情報道並不能證明所有軍用人工智慧系統都不可靠，也不能證明生成式人工智慧絕對不能用於情報工作，更不能證明是某個特定的模型供應商導致了問題。公開報道並未指明具體模型、確切的提示資訊、被誤認的貨物、完整的審查流程，以及適用於分析人員的內部規則。

它也未能確定類似錯誤發生的頻率。如果沒有公開的事件資料庫、審計結果或揭露的用於顯示人工智慧輔助智慧產品產量的分母，單次事件無法支撐可靠的故障率。

這些限制之所以重要，是因為反應過度和反應不足一樣有害。更有說服力的教訓則更為具體：當人工智慧被應用於高風險分析流程時，輸出品質的評判標準應該是來源、佐證、不確定性處理、可復現性和獨立的人工審核，而不是流暢度、速度或專業格式。

底線

據報道，美國軍方人工智慧出現虛假情報的事件之所以重要，是因為它揭示了一種可能在任何高風險組織中發生的失敗模式：模型做出未經證實的推斷，軟體將該推斷轉化為完善的產品，而機構流程開始將該產品視為其權威來自已驗證的證據。

實際目標並非使生成式人工智慧完全無誤。目前的系統無法保證這一點。目標是設計工作流程，使人工智慧的錯誤始終停留在可偵測的草稿錯誤階段，而不是演變為實際作業中出現的錯誤。成熟系統最明顯的標誌是：可見的原始碼來源、對重要結論的獨立驗證、明確的不確定性、記錄的審查步驟，以及預先設定的、人類不再信任生成路徑並轉而採用更嚴格方法的臨界點。