我看著一套得來速 AI 打斷了一位口吃的顧客。於是我打造了截然不同的東西。
Reddit 上流傳著一段影片。一名女子在 Wendy's 的得來速（drive-thru）點餐，想點一份 Baconator。她口吃了——卡在「b」這個音上——AI 卻在字還沒說完時打斷她，愉快地建議她來一份 Frosty。她再試了一次。系統把她的重複當成一筆新訂單。三次嘗試之後，她對著一個毫不在意的喇叭大喊「AGENT（真人客服）」。
那段影片我大概看了三十遍。不是因為它好笑——它並不好笑——而是因為那段互動中的每一個失敗，都精確對應到某個人在會議室裡做出的架構決策，而那個人當時很可能正盯著一張寫著「86% 成功率」的投影片。
剩下的那 14% 呢？那些是活生生的人。而我會說，這套架構從一開始就不是為他們而打造的。
這是一個關於為什麼我在 Veriprajna 的團隊花了將近兩年、拒絕走語音 AI 最快上市捷徑的故事——以及我們改為打造了什麼。
「企業級語音 AI」究竟意味著什麼？
在我們這個領域，大多數公司做的事出奇地簡單：把麥克風接到一個 API 上。OpenAI、Google、Anthropic——挑一個你最喜歡的大型語言模型，把音訊灌進去，取回文字，生成回應。上線。
我把這稱為API 封裝方法，它在 demo 中運作得非常漂亮。安靜的房間、清晰的說話者、簡單的請求。Demo 總是能成功。
Demo 總是能成功。但在深夜 11:47 的得來速，一輛柴油卡車在你身後怠速轟鳴，後座還有個幼兒在尖叫——那才是架構真正見真章的地方。
Wendy's 的 FreshAI 系統——建構於 Google Cloud 的 Vertex AI 之上——大概是這種做法大規模落地時最受矚目的例子。而根據報導的顧客體驗，會告訴你關於它極限的一切：顧客光是簡單的訂單就得嘗試三次以上，系統會在人話說到一半時打斷，去建議一些他們根本沒點的品項，對任何有語言不流暢（speech disfluency）狀況的人來說，這種體驗被形容為「無法使用」。
然而 Wendy's 正擴張到 500 到 600 個據點。原因是簡單的算術——這套系統透過追加銷售提高了平均客單價，而人力效率的數字在季度財報電話會議上看起來很漂亮。如果你是為平均值最佳化，這套架構就是成功的。如果你是那個它無法服務的人，這套架構就是壞掉的。
我在我們研究的互動版本中深入探討了這種張力。但核心論點我想親自來講，因為它形塑了我們建構一切的方式。
我們意識到麥克風是錯誤起點的那個夜晚
那是暮春一個週四、大約晚上 9 點。我、我的共同創辦人，還有兩名工程師，站在一家已歇業的 Taco Bell 停車場裡——我們取得了使用許可來做測試。我們把原型架在一根柱子上——一個喇叭、一支麥克風，全靠幾條膠帶固定在一起。我們已經在實驗室裡跑了好幾週，準確率約 95%。我們覺得準備好了。
第一輛開上來的車，是一名開著 Honda Civic、車窗降到一半的女子。她夠清楚地說了「我要一份三號套餐」。系統聽成了「island numb recon bowl」。我看向我的共同創辦人。他看著地面。
那準確率不只是糟——是根本無法使用。我們又在那個停車場站了兩個小時，一次又一次地測試，而隨著傍晚車流變多，數字只有越來越差。我記得那個確切的時刻，我不再感到挫折，而開始感到一種更接近恐懼的東西：這不是調校的問題。我們整套做法都錯了。
問題不在語言模型。模型本身沒問題。真正的問題，是那所有一切都早在音訊抵達模型之前就發生了。風噪。引擎的隆隆聲。二十英尺外一台 HVAC 空調機組的機械嗡鳴。三個街區外的一聲汽車喇叭。我們的系統分不出人聲和柴油引擎的差別，因為在訊號層級上，從來沒有人教過它。
就在那一刻，我明白了一件事——我認為這個領域裡大多數人至今仍未真正內化：語音 AI 不是一個 NLP 問題。它首先是訊號處理問題，其次是語言學問題，第三才是 NLP 問題。如果你的第一層就是壞的，下游的一切都救不了你。
為什麼得來速 AI 老是打斷顧客？
罪魁禍首是一種叫做語音活動偵測（Voice Activity Detection，VAD）的東西。它是決定你何時開始說話、何時停止說話的系統。在大多數封裝式解決方案中，它只是一個簡單的能量閾值：聲音超過某條線，就開始錄音；聲音掉到線以下，就停止錄音。
想像一下在得來速的情境。你停頓半秒，瞥了一眼菜單看板。能量下降。VAD 判定你說完了。它把一個殘缺的句子片段送進模型，模型對一個你根本還沒問完的問題產生了幻覺式的回應，於是你就開始跟一個喇叭吵架了。
我們從頭重建了我們的 VAD。我們不用能量閾值，而是採用神經網路模型——Silero、Cobra——它們會針對多樣頻率下的人聲輸出一個機率分數。我們不用二元的開／關，而是讓系統給出一個信心水準。我們也不用固定的 500 毫秒停頓容忍度，而是採用一個 600 到 1,000 毫秒、會依對話情境調整的動態窗口。
不過，帶來最大改變的技巧，是我們所謂的推測式轉錄。系統在 250 毫秒時就開始處理音訊，但直到確認靜默達 600 毫秒才會確定終點。這段重疊把感知延遲降低了 350 到 600 毫秒，同時消除了過早的打斷。
我的共同創辦人爭論了好幾週，說那個動態停頓窗口過度設計了。有一晚我們待在辦公室很晚——咖啡冷了，白板上寫滿了延遲圖表——他把椅子往後一推，說：「我們花三個工程週，做一個省下半秒的功能。沒有人會在得來速停頓整整一秒。這是個虛榮問題。」我說了類似這樣的話：「而如果你錯了，我們就打造了一套會打斷每一個需要思考的顧客的系統。」那一整晚我們沒再說話。他大概午夜離開。我留下來，繼續跑模擬。
然後我們用真實顧客測試。結果發現，人們一直在停頓——看菜單、轉頭問乘客想吃什麼、思考自己是不是真的需要薯條。整整一秒的自然停頓不是靜默。那是在思考。我的共同創辦人在看到測試結果後傳給我一句話：「你是對的。椅子的事抱歉。」
當你為速度而非耐心最佳化，你打造出的系統，就只對那些早已知道自己要什麼的人有用。
八千萬人
口吃影響著全球超過八千萬人。在那次停車場之後，這個數字對我而言有了不一樣的分量。
它表現為重複（「b-b-b-baconator」）、拉長音（「mmmmilk」），以及卡阻——字說到一半時的無聲停頓，此時當事人在生理上無法發出聲音。
現在想想，一個標準的 VAD 面對一次卡阻會做什麼。當事人在字說到一半時停止發聲。系統把靜默解讀為輪到對方說完。它回應了半個字。當事人再試一次。系統把這次重複當成一筆新訂單。不到十秒，你就有了一個困惑的 AI、一個沮喪的人，以及在他們身後排起的一列車。
這不是一個邊緣案例。這是一個設計選擇。當你幾乎只用「標準」美式英語——咬字清晰、停頓極少——來訓練一個 ASR（自動語音辨識，Automatic Speech Recognition）模型時，你就是在決定你的系統是為誰而設。研究顯示，以 Conformer 為基礎（一種結合卷積與自注意力機制來處理音訊的神經網路架構）的 ASR 模型，也就是大多數現代系統的骨幹，在面對失序語音（disordered speech）時效能退化得如此嚴重，以致某些模型甚至回傳負值的語意相似度分數。不只是不準確——而是語意上被反轉。
當你的 AI 模型在失序語音上回傳負的語意分數，你打造的並不是一套在邊緣案例上吃力的系統。你打造的是一套從來就沒被設計來聽見相當一部分人類的系統。
一位投資人曾當面對我說：「就用 API，之後再微調。你正在為一個只影響一小部分顧客的問題燒錢。」我在手機上把數字拉出來——光是口吃就有八千萬人，還沒算上口音、ESL（以英語為第二語言）的使用者、年長顧客，以及任何在吵雜車內點餐的人。我看著他的表情變了。「那不是一小部分。」他說。「對，」我說。「不是。」
我們在重新標註的不流暢語音資料集上，對自監督模型進行微調。我們使用合成不流暢插入——取用流暢的逐字稿，加入卡阻與重複，再合成為訓練音訊。這是費盡心力的工作。這種東西不會出現在功能比較表上。但它正是「對每個人都管用的系統」與「只對平均值管用的系統」之間的差別。
當語音 AI 跑在邊緣端而非雲端，會發生什麼？
在 Wendy's 得來速麥克風前說出的每一個字，都要穿越公共網際網路來回一趟 Google 的資料中心。這趟往返在模型甚至還沒開始處理之前，就耗掉了 100 到 500 毫秒。在語音互動中，黃金標準是低於 300 毫秒的回應時間——一旦超過，對話就不再感覺自然。到了 700 到 900 毫秒，感覺就像一通糟糕的電話。到了兩秒，人們就會開始搶著跟系統說話。
我們把一切都搬到了邊緣端。在餐廳現場的專用硬體上進行本地處理。我們的延遲降到了 5 到 10 毫秒。
但真正的洞見不只是速度——而是模型大小。一個通用型 LLM 需要無所不知。一個領域專用的小型語言模型（Small Language Model）只需要知道「Dave's Single」是一種漢堡，而不是一張音樂專輯。這種聚焦意味著更快的推論、更可預測的回應，以及只需一小部分的運算成本。相較於雲端做法，我們已看到 3 倍的速度提升，以及 30% 到 40% 更低的營運成本。
這套邊緣架構還解決了一個我們沒有完全預料到的問題：可靠性。當網路斷線時——而它一定會斷——一套依賴雲端的系統就變成一個非常昂貴的紙鎮。我們的系統照常運作。想了解我們邊緣架構相對於雲端做法的完整技術剖析，你可以深入閱讀這篇研究論文。
沒人在談的那道法規高牆
CAN-ASC-6.2:2025 在 2025 年初落到我桌上，我記得讀它時，心情介於鬆一口氣與被證明有理之間——這裡終於有一套標準，說出了我們一直努力邁向的目標：身心障礙者必須參與 AI 系統的設計、測試與治理。不是當作事後補充。而是從一開始就參與。歐洲無障礙法案（European Accessibility Act）在 2025 年 6 月開始強制執行，並附帶高額罰款，而 ADA 正被重新詮釋，以涵蓋針對有語言障礙者的數位障礙。要在 600 個據點上翻修一套不合規的系統，成本大約是一開始就把它做對的五倍。
「萬一我們只是打造了一套非常昂貴的點漢堡方式呢？」
那個念頭大約在凌晨 2 點擊中我，那時開發大概進行了六個月。我獨自一人在辦公室，盯著一個我們系統仍無法解析的口吃字詞的頻譜圖。我們已經做了好幾個月。我們燒掉了大部分的初始資金。而那些做 API 封裝的公司正在出貨產品，我們卻還在為訊號處理管線除錯。
我差點就放棄了。差點就決定乾脆包一層 API、先出個東西，然後像其他人一樣之後再迭代。
但在語音 AI 裡，「之後再迭代」是個謊言。一旦你把架構建立在依賴雲端、VAD 閾值、只服務流暢語音的假設之上，每一次顧客互動都會在你的訓練資料中強化那些假設。你不會朝著無障礙迭代。你會離它越來越遠。
先為邊緣案例而打造，平均案例自然水到渠成。為平均而打造，邊緣案例就永遠得不到修正。
讓我重新思考一切的輪流發言問題
人類對話中有一種我們完全視為理所當然的微妙之處。當你說「我要一份 Baconator，然後……」——那個拖長的「然後」在暗示你還沒說完。一個真人收銀員會等。大多數得來速 AI 不會。
我們把我稱之為「對話文法」的東西，內建進了我們的斷點判定邏輯。系統即時解析語言線索：暗示要繼續的連接詞、暗示結束的音調變化，以及「就這些」這句意思正如字面的話。當顧客說「就這些」，我們的系統會在 200 毫秒內回應，因為意圖毫不含糊。當他們以「然後……」拖著尾音時，系統會等待，即使歷經整整一秒的靜默也一樣。
這也是我們「人在迴路（human-in-the-loop）」理念所在之處。我們不認為 AI 應該在無人監督下處理整筆交易。簡單、事務性的請求——由 AI 處理。複雜的情況、沮喪的顧客、高摩擦的時刻——這些會在互動崩解之前、而非之後，升級交由真人處理。
目標從來不是取代得來速的那個真人。而是確保沒有任何一位顧客，需要對著一台不在聽的機器大喊「AGENT」。
我一直回想 Wendy's 所報告的那個 86% 成功率。在大多數軟體情境中，86% 會是一次失敗。想像一個銀行 App 只正確處理 86% 的交易。想像一套導航系統只有 86% 的時候把你帶到正確的目的地。得來速不知怎地，竟把一個在任何其他消費者互動中都無法接受的失敗率，給正常化了。
這是架構問題，不是 AI 問題
我在整個產業裡看到的模式，是各家公司把語音 AI 當成一個軟體層——某種你用對的 API 金鑰就能栓在既有基礎設施之上的東西。而我理解為什麼。它快、它便宜，而且那些 demo 令人驚豔。
但得來速不是一個 demo。它是柴油引擎、是風、是幼兒、是口音、是口吃、是那些會停下來思考的人。它是人類溝通那完整、不可化約的複雜性，發生在最糟糕的聲學環境裡。你無法靠封裝蒙混過關。
會贏得這個市場的公司——而我是以一個把職涯都賭在上頭的人的偏見說這句話——是那些願意深入的公司。深入訊號處理。深入聲學建模。深入人們實際怎麼說話的語言學，而不是 ASR 訓練資料說他們「應該」怎麼說。深入那些不依賴一千英里外資料中心的邊緣基礎設施。
語音 AI 裡沒有捷徑。有的只是那嚴謹、不光鮮、極度技術性的工作：打造能聽見每一位顧客的系統。不是其中的 86%。而是每一個人。
那才是企業級的意思。而在這個產業接受這個定義之前，我們還會繼續看著那些連「Baconator」這個字都聽不懂的得來速喇叭影片。
