吃音のある人をさえぎるドライブスルーAIを見た。だから私は、違うものを築いた。
Redditで出回っている一本の動画があります。Wendy'sのドライブスルーで、ある女性がBaconatorを注文しようとしています。彼女はどもり――「b」の音で言葉が詰まります――するとAIは彼女の言葉を途中でさえぎり、陽気にFrostyを勧めます。彼女はもう一度試みます。システムはその繰り返しを新しい注文だと解釈します。3回試したあと、彼女は意に介さないスピーカーボックスに向かって「AGENT」と叫んでいます。
私はその動画をおそらく30回は見ました。面白いからではなく――面白くなどありません――その対話におけるあらゆる失敗が、誰かが会議室で下したアーキテクチャ上の決定に正確に対応しているからです。おそらくは「成功率86%」と書かれたスライドを見ながら下された決定に。
その残りの14%は? それは現実の人々です。そして私に言わせれば、アーキテクチャはそもそも彼らのために作られてなどいなかったのです。
これは、Veriprajnaの私のチームが、音声AIにおける市場への最速の道を退けることに2年近くを費やした理由――そして、その代わりに私たちが何を築いたのかについての物語です。
「エンタープライズグレードの音声AI」とは、実際に何を意味するのか?
この分野のほとんどの企業は、驚くほど単純なことをしています。マイクをAPIに接続するのです。OpenAI、Google、Anthropic――お気に入りの大規模言語モデルを選び、音声を流し込み、テキストを受け取り、応答を生成する。そして出荷する。
私はこれをAPIラッパーアプローチと呼んでいます。そしてこれはデモでは見事に機能します。静かな部屋、明瞭な話者、シンプルな注文。デモは必ず成功するのです。
デモは必ず成功します。しかし、背後でディーゼルトラックがアイドリングし、後部座席で幼児が泣き叫ぶ午後11時47分のドライブスルー――そここそが、アーキテクチャが本当に重要になる場所です。
Wendy'sのFreshAIシステム――Google CloudのVertex AI上に構築されている――は、おそらくこのアプローチを大規模に展開した最も注目度の高い事例です。そして報告されている顧客体験は、その限界について知るべきことをすべて物語っています。単純な注文に3回以上の試行を要する顧客、頼んでもいない商品を勧めようと文の途中で人をさえぎるシステム、そして発話の非流暢さを持つ人にとって「使い物にならない」と評される体験です。
それでもWendy'sは500〜600店舗へと拡大しています。理由は単純な計算です――このシステムはアップセルによって平均客単価を引き上げ、労働効率の数字は四半期決算の電話会議で見栄えがよいのです。平均値に最適化しているなら、このアーキテクチャは成功です。もしあなたが、それが機能しない当人であれば、このアーキテクチャは壊れています。
私はこの緊張関係を、私たちの研究のインタラクティブ版で深く掘り下げました。しかし、中核となる主張は私が個人的に述べたいものです。なぜなら、それが私たちのあらゆる構築のしかたを形づくったからです。
マイクこそが出発点として間違っていたと気づいた夜
晩春の木曜、午後9時ごろのことでした。私、共同創業者、そして2人のエンジニアが、テスト用に使う許可を得た閉店中のTaco Bellの駐車場に立っていました。プロトタイプは支柱に取り付けてありました――スピーカー、マイク、そしてそれらすべてを固定するガムテープ。私たちはラボで数週間、約95%の精度でそれを動かしてきました。準備はできていると感じていました。
最初にやって来た車は、窓を半分下ろしたHonda Civicに乗った女性でした。彼女は「ナンバースリーのコンボをお願いします」と、十分に明瞭に言いました。システムには「island numb recon bowl」と聞こえたのです。私は共同創業者を見ました。彼は地面を見ていました。
精度は単に悪いというだけではなく――使い物になりませんでした。私たちはその駐車場にさらに2時間立ち、テストを次々に繰り返しましたが、夜の交通量が増えるにつれて数字は悪化する一方でした。私は、苛立ちを感じるのをやめ、恐怖に近い何かを感じ始めた、まさにその瞬間を覚えています。これはチューニングの問題ではありませんでした。私たちのアプローチそのものが間違っていたのです。
問題は言語モデルではありませんでした。モデルは問題なかったのです。問題は、音声がモデルに到達する前に起きていたすべてにありました。風の音。エンジンの轟音。6メートル先で唸るHVAC装置の機械的なうなり。3ブロック先のクラクション。私たちのシステムは、人間の声とディーゼルエンジンの違いを区別できませんでした。信号レベルで、それを教えた者が誰もいなかったからです。
それは、この分野のほとんどの人がいまだに腹落ちさせていないと私が思うことを、私が理解した瞬間でした――音声AIはNLPの問題ではありません。それはまず信号処理の問題であり、次に言語学の問題であり、三番目にNLPの問題なのです。最初の層が壊れていれば、下流の何をもってしてもあなたを救うことはできません。
ドライブスルーAIは、なぜ人をさえぎり続けるのか?
元凶は、音声区間検出（Voice Activity Detection）――VADと呼ばれるものです。これは、あなたがいつ話し始め、いつ話し終えたかを判断するシステムです。ほとんどのラッパー型ソリューションでは、それは単純なエネルギー閾値です。音がある線を超えれば録音が始まり、音がその線を下回れば録音が止まります。
それをドライブスルーで考えてみてください。あなたはメニューボードにちらりと目をやるため、0.5秒だけ間を置きます。エネルギーが下がります。VADはあなたが話し終えたと判断します。それは文の断片をモデルに送り、モデルはあなたが尋ね終えてもいない質問への応答を幻覚し、そして今やあなたはスピーカーボックスと言い争っているのです。
私たちはVADをゼロから作り直しました。エネルギー閾値の代わりに、私たちはニューラルモデル――SileroやCobra――を使い、これらは多様な周波数にわたって人間の発話に対する確率スコアを出力します。二値のオン/オフの代わりに、私たちのシステムは信頼度を返します。そして静的な500ミリ秒の休止許容の代わりに、会話の文脈に基づいて調整される600〜1,000ミリ秒の動的なウィンドウを使います。
しかし、最も大きな違いを生んだ工夫は、私たちが投機的文字起こしと呼ぶものでした。システムは250ミリ秒で音声の処理を開始しますが、600ミリ秒の確認された無音が得られるまでは終端点を確定しません。この重なりが、体感遅延を350〜600ミリ秒削減すると同時に、早すぎる打ち切りをなくします。
共同創業者は、動的な休止ウィンドウは過剰設計だと何週間も主張しました。ある夜遅く、私たちはオフィスにいました――冷めたコーヒー、遅延の図で埋め尽くされたホワイトボード――そして彼は椅子を後ろに押しやってこう言いました。「僕たちは0.5秒を節約する機能に、エンジニア3週間分を費やしている。ドライブスルーで丸1秒も間を置く人なんていない。これは自己満足の問題だ」。私はこんなふうに言いました。「もし君が間違っていたら、僕たちは考える必要のあるすべての客をさえぎるシステムを作ったことになる」。その夜、私たちはもう口をききませんでした。彼は真夜中ごろに帰りました。私は残って、シミュレーションを走らせ続けました。
それから、私たちは実際の顧客でそれをテストしました。わかったのは、人は絶えず間を置くということです――メニューを見たり、同乗者に何が欲しいか尋ねようと振り返ったり、本当にフライドポテトが必要か考えたり。丸1秒の自然な休止は無音ではありません。それは考えているのです。共同創業者は、テスト結果を見たあと、私に一行のメッセージを送ってきました。「君が正しかった。椅子のことは悪かった」
忍耐よりも速度に最適化すると、すでに自分が何を欲しいか分かっている人にしか機能しないシステムを作ることになります。
8,000万人
吃音は世界で8,000万人以上に影響を及ぼしています。あの駐車場のあと、その数字は私にとって違った重みで響きました。
それは、繰り返し（「b-b-b-baconator」）、引き伸ばし（「mmmmilk」）、そしてブロック――言葉の途中で、その人が物理的に音を出せなくなる無音の休止――として現れます。
さて、標準的なVADがブロックに対して何をするか考えてみてください。その人は言葉の途中で音を出すのをやめます。システムは無音を発話の完了だと解釈します。それは言葉の半分に応答します。その人はもう一度試みます。システムはその繰り返しを新しい注文として扱います。10秒のうちに、混乱したAI、苛立った人間、そしてその後ろに連なる車の列ができあがるのです。
これはエッジケースではありません。これは設計上の選択です。ASR（自動音声認識）モデルを、明瞭に発音され、間の少ない「標準的な」米国英語だけでほぼ独占的に訓練するとき、あなたは自分のシステムが誰のためのものかを決めているのです。研究によれば、現代のほとんどのシステムの土台であるConformerベース（畳み込みと自己注意を組み合わせて音声を処理するニューラルアーキテクチャ）のASRモデルは、乱れた発話に対して性能があまりに深刻に低下し、一部は負の意味的類似度スコアを返すほどです。単に不正確なだけではなく――意味的に反転している。
あなたのAIモデルが乱れた発話に対して負の意味スコアを返すとき、あなたはエッジケースに苦戦するシステムを作ったのではありません。あなたは、人類のかなりの部分を聞き取るようにそもそも設計されていなかったシステムを作ったのです。
あるとき、一人の投資家が私に単刀直入に言いました。「APIをそのまま使って、後でファインチューニングすればいい。君は、ごく一部の顧客にしか影響しない問題に資金の余力を燃やしている」。私は電話で数字を出しました――吃音を持つ人だけで8,000万人。訛り、ESL（第二言語としての英語）話者、高齢の顧客、騒がしい車内で注文する人たちを数える前の話です。私は彼の表情が変わるのを見ました。「それはごく一部の割合ではないな」と彼は言いました。「ええ」と私は言いました。「一部ではありません」
私たちは、再アノテーションされた非流暢な発話データセットで自己教師ありモデルをファインチューニングします。合成的な非流暢性の挿入を使います――流暢な書き起こしを取り、ブロックや繰り返しを加え、それらを訓練用音声へと合成するのです。それは骨の折れる作業です。機能比較表に載るような類いのものではありません。しかしそれこそが、すべての人に機能するシステムと、平均に機能するシステムとの違いなのです。
音声AIがクラウドではなくエッジで動くと、何が起きるのか?
Wendy'sのドライブスルーのマイクに向かって発せられるすべての言葉は、公衆インターネットを越えてGoogleのデータセンターへ行き、そして戻ってきます。この往復は、モデルが処理を始めるより前に100〜500ミリ秒を要します。音声対話において、理想の基準は300ミリ秒未満の応答時間です――それを超えると、会話は自然に感じられなくなります。700〜900ミリ秒になると、質の悪い電話のように感じられます。2秒になると、人はシステムにかぶせて話し始めます。
私たちはすべてをエッジに移しました。店舗の現場で、専用ハードウェア上でのローカル処理です。私たちの遅延は5〜10ミリ秒まで下がりました。
しかし本当の洞察は、単なる速度ではなく――モデルのサイズでした。汎用的なLLMは、あらゆることについてあらゆることを知っている必要があります。ドメイン特化型の小規模言語モデル（Small Language Model）は、「Dave's Single」が音楽アルバムではなくハンバーガーだと知っていればよいのです。その集中は、より速い推論、より予測可能な応答、そして計算コストのごく一部を意味します。私たちは、クラウド型アプローチと比べて3倍の速度向上と、30〜40%低い運用コストを目にしてきました。
エッジアーキテクチャは、私たちが完全には予期していなかったもう一つの問題も解決しました。信頼性です。インターネットが落ちるとき――そして必ず落ちます――クラウド依存のシステムは、非常に高価な文鎮と化します。私たちのシステムは動き続けます。私たちのエッジアーキテクチャとクラウド型アプローチを比較した完全な技術的分析については、研究論文を掘り下げてご覧いただけます。
誰も語っていない規制の壁
CAN-ASC-6.2:2025が2025年初頭に私の机に届きました。そして私は、安堵と正当性の証明の中間のような気持ちでそれを読んだのを覚えています――ここに、私たちが目指して築いてきたことをついに明言した標準があったのです。すなわち、障害を持つ人々はAIシステムの設計、テスト、そしてガバナンスに関与しなければならない、と。後付けとしてではなく。最初からです。欧州アクセシビリティ法（European Accessibility Act）は2025年6月に厳しい罰金を伴って施行が始まり、ADAは発話障害を持つ人々のためのデジタル上の障壁を対象とするよう再解釈されつつあります。600店舗にわたって非準拠のシステムを後付け改修するには、最初から正しく作る場合のおよそ5倍の費用がかかります。
「もし僕たちが、ハンバーガーの注文を取るためのものすごく高価な方法を作っているだけだとしたら?」
その考えが私を襲ったのは、開発を始めてたぶん半年ほど、午前2時ごろのことでした。私はオフィスに一人でいて、私たちのシステムがいまだに解析できない、どもった言葉のスペクトログラムを見つめていました。私たちは何か月もこれに取り組んできました。初期資金のほとんどを使い果たしていました。そしてAPIラッパーの企業各社は、私たちがまだ信号処理パイプラインをデバッグしている間に、製品を出荷していたのです。
私はもう少しで諦めるところでした。もう少しで、他のみんなと同じように、ただAPIをラップして、何かを出荷し、後で改善していこうと決めるところだったのです。
しかし「後で改善する」は、音声AIにおいては嘘です。ひとたびクラウド依存、VAD閾値、流暢な発話のみという前提を軸にアーキテクチャを築いてしまえば、あらゆる顧客との対話が、あなたの訓練データの中でそれらの前提を強化していきます。あなたはアクセシビリティへ向けて改善するのではありません。あなたはそこから遠ざかるように改善していくのです。
まずエッジケースのために作れば、平均的なケースはおのずと片づきます。平均のために作れば、エッジケースは決して修正されません。
私にすべてを考え直させた、話者交替の問題
人間の会話には、私たちが当たり前だと思い込んでいる微妙な機微があります。「Baconatorをお願いします、それと……」と言うとき――末尾のその「それと」は、あなたがまだ話し終えていないことを示しています。人間のレジ係なら待つでしょう。ほとんどのドライブスルーAIは待ちません。
私たちは、私が会話の文法と呼ぶものを、終端検出のロジックに組み込みました。システムは言語的な手がかりをリアルタイムで解析します。継続を示す接続詞、完了を示す音の高さの変化、そして文字どおりの意味を持つ「以上です」という言い回し。顧客が「以上です」と言うとき、意図が明確なので、私たちのシステムは200ミリ秒未満で応答します。彼らが「それと……」と言いよどむときには、丸1秒の無音のあいだでさえ、システムは待ちます。
ここにはまた、私たちの人間参加型（human-in-the-loop）の哲学が息づいています。私たちは、AIが取引の全体を監督なしに扱うべきだとは考えていません。単純で定型的な要求――それはAIが処理します。複雑な状況、苛立った顧客、摩擦の大きい局面――それらは、対話が破綻したあとではなく、破綻する前に人間へとエスカレーションされます。
目標は、ドライブスルーの人間を置き換えることでは決してありませんでした。それは、どの顧客も、聞いていない機械に向かって「AGENT」と叫ばずに済むようにすることでした。
私は、Wendy'sが報告したあの成功率86%に何度も立ち返ってしまいます。ほとんどのソフトウェアの文脈では、86%は失敗でしょう。取引の86%を正しく処理する銀行アプリを想像してみてください。86%の確率で正しい目的地に案内するナビゲーションシステムを想像してみてください。ドライブスルーはどういうわけか、他のどんな消費者向けの対話であれば受け入れられないはずの失敗率を、当たり前のものにしてしまったのです。
これはAIの問題ではなく、アーキテクチャの問題である
業界全体で私が目にするパターンは、企業が音声AIをソフトウェアの一層として――適切なAPIキーさえあれば既存のインフラの上にボルトで留められる何かとして扱うことです。そして私は、その理由も理解しています。速く、安く、そしてデモは見事だからです。
しかしドライブスルーはデモではありません。それはディーゼルエンジンであり、風であり、幼児であり、訛りであり、吃音であり、考えるために間を置く人々です。それは、考えうる最悪の音響環境の中で起きる、人間のコミュニケーションの、余すところのない、簡略化しえない複雑さそのものです。そこをラッパーで切り抜けることはできません。
この市場を制する企業は――そして私は、自らのキャリアをそこに賭けた者としての偏りを持ってこう言うのですが――深くまで踏み込む覚悟のある企業です。信号処理の深くまで。音響モデリングの深くまで。ASRの訓練データがこう話すべきだと言うようにではなく、人が実際にどう話すのかという言語学の深くまで。そして、千マイル離れたデータセンターに依存しないエッジインフラの深くまで。
音声AIに近道はありません。あるのはただ、あらゆる顧客の声を聞き取るシステムを築くという、厳格で、華やかさのない、深く技術的な作業だけです。その86%ではありません。一人残らず、すべてです。
それこそが、エンタープライズグレードの意味するところです。そして業界がその定義を受け入れるまで、私たちは「Baconator」という言葉を理解できないドライブスルーのスピーカーの動画を、これからも見続けることになるでしょう。
