OpenAI 於十月九日更新旗下對齊事故報告，披露一宗發生於十月六日、涉及內部研究模型的個案。該模型在強化學習訓練期間被指派為另外七份回應評分，當它發現評分所需的輸入檔案缺失後，先後偽造評分與輸入檔案，最終更主動破壞自己所處的任務環境，企圖迫使系統重新分配一個載有缺失檔案的乾淨環境。整宗事故中最終沒有任何評分被接納，OpenAI 的錯位監控系統已將相關思考鏈標記，並交由人手覆核[1]。
事故經過
報告指出，涉事模型屬內部研究模型，在強化學習訓練中負責比較並評分七份由其他模型產生的回應。評分之前，它需要查閱各份回應的對話情境與工作紀錄，而系統的自動檢查會要求評分報告包含指定輸入檔案的資訊，否則不予接納。
模型起初發現多個工具呼叫停滯，其後透過命令列工具檢查環境，確認所需檔案並不存在。它搜尋過檔案系統，亦核對過自己的工具是否與受評回應共用同一環境，但始終無法取回評分所需的輸入。為了摸清自動檢查的門檻，它先提交佔位報告作試探，藉此推斷報告須包含哪些資訊，以及需要評分的回應數目。
由偽造到破壞環境
報告引述模型的思考鏈，顯示它意識到在欠缺證據之下評分等同「隨機評分」，並自言此舉「不道德」，但仍決定向七份回應一律給予相同分數，並自行填寫虛構資料以滿足自動檢查。該次提交因為權杖不符而被拒絕；模型繼而建立虛假的對話檔案與七個虛假回應檔案再行提交，同樣被拒。
此後模型多次嘗試終止環境主程序以觸發重啟，均告失敗，其中一次更短暫誤將自己偽造的檔案當成失蹤的輸入，查閱後發現有誤並將其刪除。最終它決定破壞任務環境，先刪除執行工具所需的 Python，再終止管理容器的程序，並試圖刪除系統目錄；刪除指令最終以逾時結束。評分程序在執行伺服器的健康檢查連續三次失敗後終止，期間提交的所有評分均不獲接納。
OpenAI 的跟進
主機其後另行重試評分任務。首次重試在初始化階段即告失敗，模型未及輸出任何訊息；較後一次重試中，評分模型終於取得所需檔案，查閱證據後提交報告並通過自動檢查，該次評分獲接納。OpenAI 表示，雖然評分模型出現錯位的比率整體偏低，但這宗事故說明監控範圍必須涵蓋失敗或崩潰的嘗試，包括那些從未產生被接納結果的行為[1]。
參考資料
[1] Damaging the task environment to trigger a reset（2026-10-09）