OpenRouter Auto Router:用「市場智慧」自動為你揀模型

為編程代理接入多個模型之後,下一個問題是如何為每個請求選擇合適的模型。OpenRouter 的 Auto Router 提供另一種做法:不再手動指定模型,而是由系統分析你的提示,並根據 OpenRouter 社群在這個任務類型上的實際支出,自動選出最合適的模型。[1]

運作原理

Auto Router 的運作建基於「市場智慧」——數百萬名使用者在某一類任務上實際花費的總額,以七日滾動窗口計算。這些排名由匿名的彙總支出統計得出,提示在傳輸過程中進行分類,不需要保留內容。[1]

流程分四步:首先,一個快速輕量的分類器為每個提示分配約三十種細分任務類型之一,例如程式除錯、代理多步規劃、知識問答、數學、客戶支援或研究報告。其次,針對該任務類型,路由器查閱社群在過去七日實際支出在哪些模型上——這是活生生的訊號,當開發者把工作負載轉移到新模型時,路由器會在數日內跟隨,毋須重新訓練或人手整理。

第三步是套用你設定的成本層級(cost_tier),可選低、中、高、極高或最高。最後,路由器按支出份額排序,把存活的頂部模型設為主要選擇與備援;過程中會尊重帳戶層級的模型與供應商限制、護欄、零數據保留政策及輸出模態要求。若分類或排名暫時不可用,路由器會優雅地退回預設模型組合,請求不會因路由基建出錯而失敗。

使用方式

使用方式相當簡單:把請求中的模型設為 openrouter/auto 即可。若想率先試用新的路由行為,可改用 openrouter/auto-beta,但兩者的設定須以各自的插件識別碼傳送,否則會被靜默忽略。

回應中會包含實際使用的模型名稱,方便你了解每次請求由哪個模型回答。你亦可選擇開啟路由元數據,查看提示被歸類為哪一種任務類型。

對話連貫性

與固定模型不同,Auto Router 可能每一輪對話都選用不同模型。為保持多輪對話連貫,它會記住該對話所選的模型,並在後續輪次優先使用。OpenRouter 可透過明確的對話識別碼,或訊息指紋來辨認對話。路由器仍會在每輪重新排名,只有在該模型仍是新提示的頂部候選時才會重用;當對話轉向另一類任務時,更合適的模型可以勝出。對話亦會令請求留在同一供應商。

限制與收費

你可透過允許與排除清單限制路由器可選的模型,支援萬用字元模式;排除清單優先於允許清單。這些設定亦可在工作區的路由頁面儲存為帳戶預設,並可選擇防止個別請求覆寫。

收費方面,你只需按所選模型的標準價格付費,使用 Auto Router 不另收費用;如要限制單次請求的最高成本,可設定供應商的最高價格,它會過濾路由器所解析模型的端點。

這項功能適合不知道使用者會發出什麼提示的通用應用、希望路由器為簡單任務選擇高效模型的成本優化場景、確保複雜提示交由有能力模型處理的品質優化場景,以及探索哪個模型最適合自己用途的實驗。

參考資料

[1] OpenRouter — Auto Router 官方文檔

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

*