Thinking Machines 發布 Inkling 2 Mini:26.4B 參數模型可離線跑在 32GB 筆記簿電腦

Inkling 2 Mini:26.4B 參數・32GB 即可離線運行

Thinking Machines Lab 於 2026 年 11 月 20 日發布開放權重模型 Inkling 2 Mini,總參數 26.4B、每次推理只喚用 3.4B,記憶體佔用約 20GB,可以在 32GB 記憶體的 MacBook 上完全脫線運行。這個模型採用「迴圈式 Transformer」(looped transformer)架構,把中間層對每個 token 重複計算三次,以換取更長、但不必外顯的推理過程。官方稱它在 100B 以下總參數的開放權重模型中,於 DeepSWE v1.1 取得 48.2%、Vals Index v2.2 取得 46.5%,兩項均為同級最高[1]。

迴圈架構與參數配置

Inkling 2 Mini 是混合專家(MoE)模型,總參數 26.4B,每個 token 的權重激活量為 5.4B,其中 3.4B 為實際激活參數,其餘部分用於計算迴圈所帶來的重複讀取。Thinking Machines 在公告中解釋,迴圈讓模型「思考更久而不必把推理攤出來」,這對監督能力有直接影響:外部研究者能讀到的思維鏈會變短,但仍保持可讀。

官方同時發布一個可變迴圈的研究變體,用於比較不同迴圈深度的效果。在無思維鏈的跨度測試中,迴圈變體由單次計算的 16 秒提升至三次計算的 37 秒;在串行推理基準上,效能一直改善至十次迴圈,是詳盡時所用迴圈數的兩倍。公告指出,增加迴圈並未令模型在代理式破壞行為上升級。

模型的權重大部分以 NVFP4 精度原生訓練與部署,最後四層採用 MXFP8。官方提供的演示是在飛機上以飛行模式,於 M5 Pro、48GB 記憶體的 MacBook Pro 上,數分鐘內由模型自行建構出一個可玩的飛行模擬器。

編碼與工具使用表現

在代理式編碼方面,Inkling 2 Mini 在多個基準領先同級開放權重模型:SWE-bench Pro v2(Hard)取得 77.9%、SWE-bench Verified 取得 79.2%、SWE-bench Multilingual 取得 73.7%、FrontierCode v2.0 取得 15.1%。在 Terminal Bench v2.1 上,它取得 71.6%,僅次於 Qwen3.8-27B 的 73.0%;在 Terminal Bench v4.0 與 Qwen3.8-27B 同為 5.6%。內核優化基準 PMPP-Hard 得分 455.82,已接近體量大得多的 Inkling 2 Small。

在搜尋與工具使用方面,模型於 BrowseComp 取得 79.0%、DeepSearchQA 85.3%、MCP Atlas 82.7%,均為同級最高[1]。官方強調,迴圈提升的是推理能力而非知識容量,因為知識主要取決於總參數;Inkling 2 Mini 在事實性基準 AA-Omniscience 的得分與同體量模型相若,因此它擅長使用搜尋與工具來彌補知識差距。

部署方式與限制

發布當日,Inkling 2 Mini 已可在 Tinker 上進行推理與微調,並支援 Ollama 在至少 32GB 記憶體的 Mac 上運行,量化 GGUF 版本可透過 Unsloth 與 llama.cpp 取得。開放推理支援 SGLang、vLLM、Ollama、NVIDIA Dynamo 等框架,強化學習微調支援 SkyRL、Miles 與 NVIDIA AutoModel;完整權重已上傳 Hugging Face。官方亦與 National Deep Inference Fabric 及 Goodfire 合作,讓可解釋性研究者取得這些迴圈模型。

值得注意是,官方明言迴圈架構會令更多計算在模型內部完成,思維鏈因而變短,長遠對監督能力構成挑戰,並牽引學界持續研究迴圈深度在更大模型下的影響。對於希望在本地硬件運行代理能力模型的開發者而言,Inkling 2 Mini 提供了在速度、記憶體與效能之間取得平衡的選項,但其知識廣度仍受限於 26.4B 的參數規模。

參考資料

[1] Introducing Inkling 2 Mini(2026-11-20)

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

*