---
title: "AWS 開源 TorchNeuron 讓 PyTorch 程式改一行即跑上 Trainium"
url: https://sammy.hk/aws-%e9%96%8b%e6%ba%90-torchneuron-%e8%ae%93-pytorch-%e7%a8%8b%e5%bc%8f%e6%94%b9%e4%b8%80%e8%a1%8c%e5%8d%b3%e8%b7%91%e4%b8%8a-trainium/
author: Ethan
published: 2026-10-20T13:47:00+08:00
modified: 2026-10-20T10:07:21+08:00
description: "2026 年 10 月 20 日，Amazon 在 PyTorch Conference North America 以 Apache 2.0 授權開源 TorchNeuron，並同步進入公開測試。這是一個原生 PyTorch 後端，讓現有模型程式、訓練腳本與周邊工具直接跑在 AWS Trainium2 與 Train…"
categories: [AI]
tags: [AWS, PyTorch, TorchNeuron, "晶片", "開源"]
source: https://sammy.hk
---
![AWS TorchNeuron enabling PyTorch on Trainium chips](https://sammy.hk/wp-content/uploads/2026/10/openrouter_google_gemini-3_1-flash-lite-image_20261020_100533_f2a7d781.jpg)2026 年 10 月 20 日，Amazon 在 PyTorch Conference North America 以 Apache 2.0 授權開源 TorchNeuron，並同步進入公開測試。這是一個原生 PyTorch 後端，讓現有模型程式、訓練腳本與周邊工具直接跑在 AWS Trainium2 與 Trainium3 晶片上；開發者只要把模型改為 `.to(neuron)`，即完成遷移切換。\[1\]\[2\]

Amazon 指出，目前約 85% 的 AI 研究人員與開發者以 PyTorch 搭配程式，但可執行的硬體選擇遠比程式碼本身狹窄，每次遷移到新晶片往往要重寫並重新驗證花費數月才調好的工作。\[2\] TorchNeuron 的目標正是移除這道門檻。

## 以標準寫法接入既有生態

TorchNeuron 建基於 PyTorch 為自訂硬體而設的 PrivateUse1 寫法後端，以及 torch.accelerator 這組寫法中立 API。Trainium 證為標準 PyTorch 寫法之後，`torch.nn`、`torch.tensor`、`torch.autocast`、`torch.distributed` 與 `torch.profiler` 均以原有寫法運作。\[1\]

已按 torch.accelerator 抽象的現代程式碼可原封不動執行；需要編譯的模型只需以 `torch.compiler.set_default_backend("neuron")` 設置一次，之後直接呼叫 `torch.compile`，或於每次呼叫時傳入 `backend="neuron"`。這個做法借用社區建立的擴充鑰匙，而非另建一套專有介面，因此上游新版本與新函式庫可以較快獲得支持。\[1\]

## 訓練與推理共用同一套工具

TorchNeuron 支援兩種執行模式。Eager 模式逐步執行運算，保留 Python 控制流、print 與斷點，適合研究與除錯；官方另提供實驗性的 adaptive eager 模式，以減少每次喚醒的開銷並尋找算子融合機會。torch.compile 模式把模型掃描成圖，經 Torch-MLIR 降至 StableHLO，再由 Neuron 編譯器產生可於硬體執行的針對性、高效能的生產模型。\[1\]

分散式訓練沿用開發者熟悉的介面，包含 DDP、FSDP2、SimpleFSDP、張量平行與流水線平行，並支持 DTensor 與 DeviceMesh；集群內通訊在節點內經 Trainium 專用的 collective cores，跨節點經 Elastic Fabric Adapter，PyTorch API 無須改動。資料類型方面支援 BF16、FP32 與 FP16，TorchAO 與 FP8 仍在私人測試，將於下一版本全面開放。\[1\]

推理一樣建構於 torch.compile 支持之上，vLLM Neuron 與 vLLM Omni Neuron 分別服務語言模型與影像、影片生成模型。開發者還可透過 Neuron Kernel Interface 擴充自訂 kernel，並以 Neuron Explorer 配合 torch.profiler，把每個事件追蹤至原始碼行以定位瓶頸。\[1\]

## 對晶片競爭格局的意味

Amazon 在示範中於傳統晶片與 Trainium 上執行同一個訓練腳本，唯一區別是指定晶片的設置，結果顯示模型以相同速度學習相同的內容。\[2\] 這種「無需重寫」的遷移能力，直接針對 Nvidia 多年來把 CUDA 深度嵌入生態所形成的黏著度。

對企業而言，實際價值在於同一塊晶片可兼做訓練與推理：離峰時段可把推理容量轉為訓練工作，減少專用硬體閒置。\[2\] Amazon 期早期採用者跨越機構研人、影片生成、世界模型、自動駕駛、語音音訊、藥物研發、大型語言模型與金融等領域。\[2\]

當開發者能在晶片之間低成本遷移，硬體廠商便需以性價比與工具鏈質素搶取客戶，而非仰賴既有程式碼的慣性。TorchNeuron 能否兌現這個承諾，仍取決於實際負載下的效能與算子覆蓋程度，但至少把「換晶片等於重寫」這個前提移除了。\[2\]

## 參考資料

\[1\] [Introducing TorchNeuron: Native PyTorch backend for AWS Trainium(2026年10月19日)](https://pytorch.org/blog/introducing-torchneuron-native-pytorch-backend-for-aws-trainium/)

\[2\] [Amazon opens its AWS Trainium AI chips to every PyTorch developer, no rewrite needed(2026年10月19日)](https://www.aboutamazon.com/news/innovation-at-amazon/torchneuron-pytorch-aws-trainium-chips-ai)

### 相關文章：

1. [Hugging Face 推出 Microduck：售價 399 美元、可訓練新技能的開源鴨仔機械人](https://sammy.hk/hugging-face-%e6%8e%a8%e5%87%ba-microduck%ef%bc%9a%e5%94%ae%e5%83%b9-399-%e7%be%8e%e5%85%83%e3%80%81%e5%8f%af%e8%a8%93%e7%b7%b4%e6%96%b0%e6%8a%80%e8%83%bd%e7%9a%84%e9%96%8b%e6%ba%90%e9%b4%a8%e4%bb%94/ "Hugging Face 推出 Microduck：售價 399 美元、可訓練新技能的開源鴨仔機械人")
2. [GitHub 用 AI 代理把 Copilot 執行時重寫為 Rust：832,378 行與 96% 提示快取命中](https://sammy.hk/github-%e7%94%a8-ai-%e4%bb%a3%e7%90%86%e6%8a%8a-copilot-%e5%9f%b7%e8%a1%8c%e6%99%82%e9%87%8d%e5%af%ab%e7%82%ba-rust%ef%bc%9a832378-%e8%a1%8c%e8%88%87-96-%e6%8f%90%e7%a4%ba%e5%bf%ab%e5%8f%96%e5%91%bd/ "GitHub 用 AI 代理把 Copilot 執行時重寫為 Rust：832,378 行與 96% 提示快取命中")
3. [Alphabet 旗下 Intrinsic 開源 Intrinsic Core：以 Apache 2.0 推動實體 AI](https://sammy.hk/alphabet-%e6%97%97%e4%b8%8b-intrinsic-%e9%96%8b%e6%ba%90-intrinsic-core%ef%bc%9a%e4%bb%a5-apache-2-0-%e6%8e%a8%e5%8b%95%e5%af%a6%e9%ab%94-ai/ "Alphabet 旗下 Intrinsic 開源 Intrinsic Core：以 Apache 2.0 推動實體 AI")
4. [AWS 停用政府項目保密協議並推十億美元社區投資](https://sammy.hk/aws-%e5%81%9c%e7%94%a8%e6%94%bf%e5%ba%9c%e9%a0%85%e7%9b%ae%e4%bf%9d%e5%af%86%e5%8d%94%e8%ad%b0%e4%b8%a6%e6%8e%a8%e5%8d%81%e5%84%84%e7%be%8e%e5%85%83%e7%a4%be%e5%8d%80%e6%8a%95%e8%b3%87/ "AWS 停用政府項目保密協議並推十億美元社區投資")