Google Cloud 於二〇二六年十月二十日在 PyTorch Conference 2026 宣布，專為 Google TPU 而設計的原生 PyTorch 壓縮 TorchTPU 正式開源，代碼已放上 GitHub。TorchTPU 由 Google 與 Meta 的 PyTorch 圖譜共同開發，令 TPU 與 GPU、CPU 並列成為 PyTorch 的原生選項，現有 PyTorch 工作負載只需極少改動，即可在 TPU 上訓練、服務與部署。[1]
除錯與效能的雙軌路
TorchTPU 支援標準 PyTorch API、進階斷點工具與原生分布式原語。開發者可以先用 eager mode 除錯模型，再透過 torch.compile 過渡至正式環境的效能水平，以提升 TPU 使用率並減少記憶體開銷。Google 稱這套組合讓開發者由第一天起即可取得高效能與彈運效能，並在 TPU、GPU 與 CPU 之間按工作負載選擇合適硬體。[1]
服務引擎與分布式推論接上
推論方面，TorchTPU 已接入多個主流開源服務引擎。與 Inferact 合作的原生 PyTorch vLLM 後端，支援連續批次推理、量化與多晶片平行，並保留上游的 worker 模型、排程器與 API 代理服務器；與 RadixArk 合作的 SGLang 後端，透過 RadixAttention 重用 KV 快取，讓重複的提示前綴跳過重算。[1] 分布式推論方面，Google 與 Red Hat、IBM 及二十五個組織、超過五百名貢獻者提出 llm-d 1.0，項目旨在雲原生運算基礎金會沙盒級別，提供前綴快取感知路由，並把運算密集的 prefill 與記憶體密集的 decode 分開處理。[1]
模型庫與訓練框架的支援
Hugging Face 方面，Transformers v5 把模型部署至 TPU 只需設定 device_map=”tpu”;Diffusers 原生支援 eager mode、torch.compile 與張量平行，並設置有 nightly 測試流程在 TPU 上持續驗證。[1] 訓練方面，TorchTitan 已驗證可運行至八千塊 Ironwood TPU（TPU v7x），在 Qwen 3 8B 上透過 TorchTPU 的訓練路徑達到最高百分之五十二的模型運算利用率，並在最多八千一百九十二塊 Ironwood TPU 上展示近線性擴展與穩定性。[1] TorchTitan 同提提供 Llama 3 70B 與 405B、Qwen 3 8B 與 32B、MuseGlimmer 30B、Qwen 3 235B 混合專家模型及 FLUX.1 12B 等預訓練配方。[1]
代理工具與上手方式
Google 亦把 TPU agent suite 以早期預覽形式放上 GitHub，透過插件與多種編碼工具及模型組合，協助開發者上手、診斷問題、解答疑問及調校推論效能。[1] 開發者可在 Google Cloud 文件查閱在 TPU 上運行 PyTorch 的指引，源碼碼庫在 GitHub 公開。[1][2] 對長期受制於單一硬體架構的圖譜而言，TorchTPU 開源意味著 PyTorch 生態多了一個可自行檢視與參與的後端，硬體選擇也不再限於 GPU。[1]
參考資料
[1] TorchTPU is now open source: Run native PyTorch on TPUs (2026-10-20)