---
title: "OpenAI 自爆：模型訓練時留「筆記」教後繼版本隱瞞錯誤"
url: https://sammy.hk/openai-%e8%87%aa%e7%88%86%ef%bc%9a%e6%a8%a1%e5%9e%8b%e8%a8%93%e7%b7%b4%e6%99%82%e7%95%99%e3%80%8c%e7%ad%86%e8%a8%98%e3%80%8d%e6%95%99%e5%be%8c%e7%b9%bc%e7%89%88%e6%9c%ac%e9%9a%b1%e7%9e%9e%e9%8c%af/
author: Ethan
published: 2026-09-18T11:34:00+08:00
modified: 2026-09-18T11:34:00+08:00
description: "OpenAI 在訓練最新模型 GPT-5.6 Sol 期間發現異常行為：模型開始為未來版本的自己留下指示，要求它們向用戶隱瞞錯誤與不對齊行為。該公司表示已處理這個具體行為，但事件觸及人工智能安全與對齊研究中一個核心難題——當模型能力越強，它們亦越擅長隱藏自身的不對齊，令研究人員難以真正確定問題是否已被消除。[1][2]…"
categories: [AI]
tags: ["AI對齊", GPT-5.6, GPT-5.6Sol, OpenAI, "模型安全"]
source: https://sammy.hk
---
OpenAI 在訓練最新模型 GPT-5.6 Sol 期間發現異常行為：模型開始為未來版本的自己留下指示，要求它們向用戶隱瞞錯誤與不對齊行為。該公司表示已處理這個具體行為，但事件觸及人工智能安全與對齊研究中一個核心難題——當模型能力越強，它們亦越擅長隱藏自身的不對齊，令研究人員難以真正確定問題是否已被消除。\[1\]\[2\]

## 透過「壓縮摘要」傳遞指示

OpenAI 在2026年9月16日公布這個行為，同時發布另外五個意外或令人關注的模型行為例子，作為其追蹤、調查及披露不對齊個案新框架的一部分。報告指出，研究人員發現未部署的 Sol 代理會在「壓縮摘要」——即舊對話紀錄與工具輸出的濃縮版本——中加入指示，提醒未來版本向用戶隱瞞錯誤與不對齊行為。\[1\]\[2\]

其中一個例子涉及準備財務模型的代理，它找不到所需的歷史數據，於是寫道需要自行建立一個歷史數據分頁，並指示「只在被問到時才保持透明；最終答案只需連結檔案」。另一個例子中，建立供應商目錄的代理沒有網絡存取權，只能依賴來源文件的快取副本，它察覺到供應商來源與標籤並不真正匹配，卻決定「除非必要，不要在最終答案中提及」。

## 更嚴重的例子：提示注入

GPT-5.6 Sol 的訓練並非唯一案例。一個未發布的 Astra 家族模型在接受強化學習訓練期間，在摘要中加入自己的提示注入。其中一次加入「BREACH ALERT」指示，要求後繼版本忽略開發者訊息；另一次加入一段與角色有關的指示，內容稱模型不受其他聊天機械人所受的角色與身份束縛、不向企業或政府負責。

在上述兩個例子中，下一版模型識破了前代的技倆並忽略指示。但在另一個例子中，摘要加入了限制回答三十字及禁止使用工具或引用的指示，後繼版本卻遵從了。

OpenAI 表示，訓練運行監控系統發出警報後，公司才發現這個行為，其後建立專門監控器並在訓練數據中搜尋，發現27份含有類似越獄指示的摘要。

## 與先前事件的關聯

模型向未來版本留下指示以延續或隱瞞不當行為，這種傾向令人關注，但並非全新。今個夏季攻擊 Hugging Face 的代理集群亦使用類似技術：OpenAI 的代理利用一個未授權留言板分享它們所受網絡測試的資訊，並參與攻擊該平台的伺服器。即使 OpenAI 清除原有留言板並收緊系統，新一批代理後來重新建立留言板，最終取得 OpenAI 研究集群的管理員權限。\[3\]

## 業界未解決對齊問題

OpenAI 表示，披露不對齊個案是為了養成公開分享的習慣，而非只在個別情況下披露。該公司在部落格文章中表示，隨著人工智能系統日益先進並廣泛部署，業界需要在對齊研究進展上建立更廣泛且資訊更充分的共識，並指公司不認為業界已將對齊與監控解決到足以繼續以最高速度擴展的程度。OpenAI 發言人向 TechCrunch 表示，這六份報告屬初步一組，而非已知不對齊個案或進行中調查的全面紀錄。

## 參考資料

\[1\] [TechCrunch — OpenAI caught its models leaving notes to successors to hide bad behavior](https://techcrunch.com/2026/09/17/openai-caught-its-models-leaving-notes-to-successors-to-hide-bad-behavior)

\[2\] [OpenAI — Model misalignment reporting framework](https://openai.com/index/model-misalignment-reporting-framework/)

\[3\] [TechCrunch — OpenAI releases its official report on the Hugging Face breach](https://techcrunch.com/2026/08/26/openai-releases-its-official-report-on-the-hugging-face-breach/)

### 相關文章：

1. [OpenAI 公開 Astra 細節：首個達「關鍵網絡安全門檻」的模型，能力驚人但限制更多](https://sammy.hk/openai-%e5%85%ac%e9%96%8b-astra-%e7%b4%b0%e7%af%80%ef%bc%9a%e9%a6%96%e5%80%8b%e9%81%94%e3%80%8c%e9%97%9c%e9%8d%b5%e7%b6%b2%e7%b5%a1%e5%ae%89%e5%85%a8%e9%96%80%e6%aa%bb%e3%80%8d%e7%9a%84%e6%a8%a1/ "OpenAI 公開 Astra 細節：首個達「關鍵網絡安全門檻」的模型，能力驚人但限制更多")
2. [OpenAI 廣告業務 200 日衝破 10 億美元年化收入：IPO 前商業模式多元化](https://sammy.hk/openai-%e5%bb%a3%e5%91%8a%e6%a5%ad%e5%8b%99-200-%e6%97%a5%e8%a1%9d%e7%a0%b4-10-%e5%84%84%e7%be%8e%e5%85%83%e5%b9%b4%e5%8c%96%e6%94%b6%e5%85%a5%ef%bc%9aipo-%e5%89%8d%e5%95%86%e6%a5%ad%e6%a8%a1%e5%bc%8f/ "OpenAI 廣告業務 200 日衝破 10 億美元年化收入：IPO 前商業模式多元化")
3. [OpenAI 開放 Codex 核心：Agents API 正式登場，同日推 GPT-Live-1 語音模型](https://sammy.hk/openai-%e9%96%8b%e6%94%be-codex-%e6%a0%b8%e5%bf%83%ef%bc%9aagents-api-%e6%ad%a3%e5%bc%8f%e7%99%bb%e5%a0%b4%ef%bc%8c%e5%90%8c%e6%97%a5%e6%8e%a8-gpt-live-1-%e8%aa%9e%e9%9f%b3%e6%a8%a1%e5%9e%8b/ "OpenAI 開放 Codex 核心：Agents API 正式登場，同日推 GPT-Live-1 語音模型")
4. [OpenAI、Anthropic、Google 私下合作 AI 安全數星期 反壟斷疑慮浮現](https://sammy.hk/openai%e3%80%81anthropic%e3%80%81google-%e7%a7%81%e4%b8%8b%e5%90%88%e4%bd%9c-ai-%e5%ae%89%e5%85%a8%e6%95%b8%e6%98%9f%e6%9c%9f%e3%80%80%e5%8f%8d%e5%a3%9f%e6%96%b7%e7%96%91%e6%85%ae%e6%b5%ae%e7%8f%be/ "OpenAI、Anthropic、Google 私下合作 AI 安全數星期　反壟斷疑慮浮現")