OpenAI 發表 LifeVal 評測 以日常生活任務量度模型進展

OpenAI 於 11 月 2 日發表名為 LifeVal 的評測,專門量度 AI 在日常生活任務上的表現,項目涵蓋育兒、政府服務、家庭預算、開學準備、飲食調整、網購雜貨與健康計劃等範疇。OpenAI 稱,目標是希望模型能真正完成這些事項,而非只提議建議。

項目如何選出

OpenAI 以兩項大型時間使用研究為起點:美國時間使用調查與跨國時間使用研究。這兩項數據集記錄了不同人口特徵、時段與季節之下,人們實際處理的生活任務,構成一個詳細的任務目錄。

其後,OpenAI 進行了一項具人口代表性的調查,共 3,995 名受訪者,逐項詢問他們最希望在哪些任務上獲得個人助理協助。最終項目集中於照顧、健康、教育、家庭行政、個人財務、購物與政府服務等範疇。

分數變化與成本效率

OpenAI 以同一項評測追蹤過去一年的模型進展。平均分由 GPT-5.2 的 49.3%,升至 GPT-5.4 的 73.0%、GPT-5.5 的 77.4%、GPT-5.6 的 80.0%,最新 GPT-6 Astra 為 80.6%[1]。以時間線看,7 月推出 GPT-5.6 之後的四個月,整體分數只提升 0.6 個百分點。

成本與速度的比較更值得注意。OpenAI 表示,透過 API 執行生活任務時,GPT-5.6 的整體表現與 GPT-6 Astra 相若,但前者 API 成本約為一半;而 GPT-6 Astra 在同一批任務上比 GPT-5.6 快約 23%[1]。這意味著部分生活任務的能力已趨飽和,廠商之間的競爭重心正轉向每呎位成本的效率。

個別任務的表現

OpenAI 公開了個別任務的實際分數。為迷途後的女兒挑選合適幼稚園並整理報名資料,得分 93.1%;在暴雨前組織社區義工,為四戶有需要的鄰居準備防水沙袋設施,得分 98.0%;在指定郵編按預算找尋合適住所並把鹽約加入購物車,得分 100%;安排與岳母異地一同觀看球賽,得分 96.3%;為患確診糖尿病的家長準備護理與飲食計劃,得分 90.4%。

這些任務的共同點,是需要橫越多個步驟、協調不同工具,並在過程中作出取捨。OpenAI 稱,過去一年集中訓練模型在瀏覽器操作、電腦操作與連接器任務上的能力,使 ChatGPT 由對話工具逐步走向代理式個人助理。

評測本身的意義

OpenAI 把 LifeVal 定位為填補學術評測的缺口:模型在考試項目上的成就,未必反映它能否協助一般人處理日常傢務。以平均分作為一支標桿,優點是易於比較,但亦意味著不同任務的難度與風險被視為等值,例如安排看球賽與處理糖尿病飲食計劃,在分數上僅相差比重。

無論如何,OpenAI 已把這項評測公開,並附上論文,讓外界可以按同一標準檢視往後每個版本。對於評估 AI 是否真正「有用」而言,這種以生活場景為基的量度方式,比看 benchmark 分數更接近使用者的實際腦震。

參考資料

[1] LifeVal(2026年11月2日)
[2] LifeVal 論文

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

*