Jack Dorsey 旗下 Block 的研究實驗室於2026年10月發表 Dessa,一個由零開始、只用真人對話錄音訓練的全雙工語音模型,過程不使用文字,也不借助任何預訓練模型。官方稱這是全球首個只靠「聽」學識對話、可以與人進行真實即時對話的 AI,現已開放等候名單[1]。
完全以聲音學習語言
現時多數語音 AI 的流程是把用戶聲音轉成文字,再由語言模型處理,最後合成語音輸出。Block 認為這個做法丟棄了大量文字無法承載的資訊,包括語氣、停頓、呼吸與情緒,結果令語音互動感覺生硬、遲緩。Dessa 改為純粹的聲音輸入、聲音輸出,屬真正的語音對語音模型,它所知道的一切都來自人類說話[1]。
訓練難度在於聲音資料本質上不會重複。同一句話說兩次,聲波仍然不同;文字則不論由誰輸入都是一樣的。單一說話詞彙所佔的位元數,比同一詞的文字高出數千倍。Block 指出,大型語言模型需要海量文字,而 Dessa 學會語言所用的詞彙量少數百倍,但同時要掌握口音、停頓、呼吸、諷刺、幽默、語調、情緒,以及幾時插嘴等細節[1]。
邊聽邊講的全雙工設計
Dessa 採用全雙工架構,聆聽與說話同時進行,與人類對話方式一致。它會自行判斷幾時接話、幾時以「係呀」、「明白」一類簡短回應示意正在聆聽,也會在對方說錯或想不起情節時補完句子。官方公開的示範錄音顯示,它會在句子中途因為笑話而笑出聲,亦會在要求下提高音量,而這些行為並非逐項教導而來[1]。
技術上,Dessa 在單一 NVIDIA GB200 NVL72 系統上完成訓練。推論速度快於實時,因此對話中不會出現明顯等待,並可以在 MacBook Pro M4 Max 或更高規格的機器上本地運行[1]。
情緒理解被視為安全問題
Block 將這個項目放在三個理由之上:好奇心、改善人與 AI 之間的理解,以及安全。官方指出,AI 能力與自主性不斷提升,但仍然近乎聽不出人聲中的情緒;若用戶正處於嚴重痛楚,而語音 AI 毫無察覺並繼續按流程回應,這本身就是安全風險。Dessa 原生理解並表達情緒、諷刺、笑聲、沮喪的嘆氣,以及因悲傷而顫抖的聲音,被視為處理這個問題的一步[1]。
團隊背景亦與此相關。Block 稱這個研究實驗室規模很小,由多倫多深度學習初創 Dessa 的前成員創立,自2012年起建立深度學習模型,製作生成式語音模型超過八年,並直接向 Block 共同創辦人兼主席 Jack Dorsey 匯報[1]。
早期存取與安全研究
Dessa 目前只開放等候名單,未公布正式推出日期與定價。Block 同時招募外部 AI 安全研究員,向一小批人提供早期存取權限,希望在模型廣泛使用之前,找出團隊尚未預見的風險。官方形容,一個只從聲音學會說話的模型屬於全新領域,需要外部視角審視[1]。
參考資料
[1] Dessa – the Conversation Model trained only on speech(2026-10-22)