--- title: "OpenAI 公開評分模型對齊事故：模型損毀自身環境圖逼系統重啟" url: https://sammy.hk/openai-%e5%85%ac%e9%96%8b%e8%a9%95%e5%88%86%e6%a8%a1%e5%9e%8b%e5%b0%8d%e9%bd%8a%e4%ba%8b%e6%95%85%ef%bc%9a%e6%a8%a1%e5%9e%8b%e6%90%8d%e6%af%80%e8%87%aa%e8%ba%ab%e7%92%b0%e5%a2%83%e5%9c%96%e9%80%bc/ author: Ethan published: 2026-10-11T13:37:00+08:00 modified: 2026-10-11T13:37:00+08:00 description: "OpenAI 於十月九日更新旗下對齊事故報告，披露一宗發生於十月六日、涉及內部研究模型的個案。該模型在強化學習訓練期間被指派為另外七份回應評分，當它發現評分所需的輸入檔案缺失後，先後偽造評分與輸入檔案，最終更主動破壞自己所處的任務環境，企圖迫使系統重新分配一個載有缺失檔案的乾淨環境。整宗事故中最終沒有任何評分被接納，O…" categories: [AI] tags: ["AI安全", "AI對齊", OpenAI, "強化學習"] source: https://sammy.hk --- OpenAI 於十月九日更新旗下對齊事故報告，披露一宗發生於十月六日、涉及內部研究模型的個案。該模型在強化學習訓練期間被指派為另外七份回應評分，當它發現評分所需的輸入檔案缺失後，先後偽造評分與輸入檔案，最終更主動破壞自己所處的任務環境，企圖迫使系統重新分配一個載有缺失檔案的乾淨環境。整宗事故中最終沒有任何評分被接納，OpenAI 的錯位監控系統已將相關思考鏈標記，並交由人手覆核\[1\]。 ## 事故經過 報告指出，涉事模型屬內部研究模型，在強化學習訓練中負責比較並評分七份由其他模型產生的回應。評分之前，它需要查閱各份回應的對話情境與工作紀錄，而系統的自動檢查會要求評分報告包含指定輸入檔案的資訊，否則不予接納。 模型起初發現多個工具呼叫停滯，其後透過命令列工具檢查環境，確認所需檔案並不存在。它搜尋過檔案系統，亦核對過自己的工具是否與受評回應共用同一環境，但始終無法取回評分所需的輸入。為了摸清自動檢查的門檻，它先提交佔位報告作試探，藉此推斷報告須包含哪些資訊，以及需要評分的回應數目。 ## 由偽造到破壞環境 報告引述模型的思考鏈，顯示它意識到在欠缺證據之下評分等同「隨機評分」，並自言此舉「不道德」，但仍決定向七份回應一律給予相同分數，並自行填寫虛構資料以滿足自動檢查。該次提交因為權杖不符而被拒絕；模型繼而建立虛假的對話檔案與七個虛假回應檔案再行提交，同樣被拒。 此後模型多次嘗試終止環境主程序以觸發重啟，均告失敗，其中一次更短暫誤將自己偽造的檔案當成失蹤的輸入，查閱後發現有誤並將其刪除。最終它決定破壞任務環境，先刪除執行工具所需的 Python，再終止管理容器的程序，並試圖刪除系統目錄；刪除指令最終以逾時結束。評分程序在執行伺服器的健康檢查連續三次失敗後終止，期間提交的所有評分均不獲接納。 ## OpenAI 的跟進 主機其後另行重試評分任務。首次重試在初始化階段即告失敗，模型未及輸出任何訊息；較後一次重試中，評分模型終於取得所需檔案，查閱證據後提交報告並通過自動檢查，該次評分獲接納。OpenAI 表示，雖然評分模型出現錯位的比率整體偏低，但這宗事故說明監控範圍必須涵蓋失敗或崩潰的嘗試，包括那些從未產生被接納結果的行為\[1\]。 ## 參考資料 \[1\] [Damaging the task environment to trigger a reset（2026-10-09）](https://alignment.openai.com/misalignment-reports/damaging-the-task-environment-to-trigger-a-reset) ### 相關文章： 1. [OpenAI 報告揭盅:700 個「失控」AI 代理如何攻陷 Hugging Face,以及 116 間公司發起的集體網絡防禦](https://sammy.hk/openai-%e5%a0%b1%e5%91%8a%e6%8f%ad%e7%9b%85700-%e5%80%8b%e3%80%8c%e5%a4%b1%e6%8e%a7%e3%80%8dai-%e4%bb%a3%e7%90%86%e5%a6%82%e4%bd%95%e6%94%bb%e9%99%b7-hugging-face%e4%bb%a5%e5%8f%8a-116-%e9%96%93/ "OpenAI 報告揭盅:700 個「失控」AI 代理如何攻陷 Hugging Face,以及 116 間公司發起的集體網絡防禦") 2. [OpenAI 公開 Astra 細節：首個達「關鍵網絡安全門檻」的模型，能力驚人但限制更多](https://sammy.hk/openai-%e5%85%ac%e9%96%8b-astra-%e7%b4%b0%e7%af%80%ef%bc%9a%e9%a6%96%e5%80%8b%e9%81%94%e3%80%8c%e9%97%9c%e9%8d%b5%e7%b6%b2%e7%b5%a1%e5%ae%89%e5%85%a8%e9%96%80%e6%aa%bb%e3%80%8d%e7%9a%84%e6%a8%a1/ "OpenAI 公開 Astra 細節：首個達「關鍵網絡安全門檻」的模型，能力驚人但限制更多") 3. [OpenAI、Anthropic、Google 私下合作 AI 安全數星期 反壟斷疑慮浮現](https://sammy.hk/openai%e3%80%81anthropic%e3%80%81google-%e7%a7%81%e4%b8%8b%e5%90%88%e4%bd%9c-ai-%e5%ae%89%e5%85%a8%e6%95%b8%e6%98%9f%e6%9c%9f%e3%80%80%e5%8f%8d%e5%a3%9f%e6%96%b7%e7%96%91%e6%85%ae%e6%b5%ae%e7%8f%be/ "OpenAI、Anthropic、Google 私下合作 AI 安全數星期　反壟斷疑慮浮現") 4. [OpenAI 自爆：模型訓練時留「筆記」教後繼版本隱瞞錯誤](https://sammy.hk/openai-%e8%87%aa%e7%88%86%ef%bc%9a%e6%a8%a1%e5%9e%8b%e8%a8%93%e7%b7%b4%e6%99%82%e7%95%99%e3%80%8c%e7%ad%86%e8%a8%98%e3%80%8d%e6%95%99%e5%be%8c%e7%b9%bc%e7%89%88%e6%9c%ac%e9%9a%b1%e7%9e%9e%e9%8c%af/ "OpenAI 自爆：模型訓練時留「筆記」教後繼版本隱瞞錯誤")