Ho visto un'IA del drive-thru interrompere una persona che balbetta. Poi ho costruito qualcosa di diverso.

C'è un video che sta circolando su Reddit. Una donna al drive-thru di un Wendy's sta cercando di ordinare un Baconator. Balbetta — un blocco sulla "b" — e l'IA la interrompe a metà parola, suggerendo allegramente un Frosty. Lei riprova. Il sistema interpreta la sua ripetizione come un nuovo ordine. Tre tentativi dopo, sta urlando "OPERATORE" a un altoparlante a cui non importa nulla.

Ho guardato quel video probabilmente trenta volte. Non perché sia divertente — non lo è — ma perché ogni fallimento in quell'interazione corrisponde con precisione a una decisione architetturale presa da qualcuno in una sala riunioni, probabilmente mentre guardava una slide che diceva "tasso di successo dell'86%".

Quel 14% restante? Sono persone reali. E direi che l'architettura non è mai stata costruita per loro, fin dall'inizio.

Questa è la storia del perché il mio team di Veriprajna ha passato la maggior parte di due anni a rifiutare la via più rapida al mercato nell'IA vocale — e di ciò che abbiamo costruito invece.

Cosa significa davvero "IA vocale di livello enterprise"?

La maggior parte delle aziende nel nostro settore fa una cosa notevolmente semplice: collega un microfono a un'API. OpenAI, Google, Anthropic — scegli il tuo modello linguistico di grandi dimensioni preferito, invia l'audio, ricevi il testo, genera una risposta. Rilascialo.

Lo chiamo l'approccio API wrapper, e funziona magnificamente in una demo. Stanza silenziosa, voce chiara, richiesta semplice. La demo funziona sempre.

La demo funziona sempre. Il drive-thru alle 23:47 con un camion diesel che gira al minimo dietro di te e un bambino che urla sul sedile posteriore — è lì che l'architettura conta davvero.

Il sistema FreshAI di Wendy's — costruito su Vertex AI di Google Cloud — è probabilmente l'esempio più noto di questo approccio su larga scala. E le esperienze dei clienti riportate ti dicono tutto ciò che devi sapere sui suoi limiti: clienti che hanno bisogno di tre o più tentativi per ordini semplici, il sistema che interrompe le persone a metà frase per suggerire articoli che non hanno chiesto, e un'esperienza descritta come "inutilizzabile" per chiunque abbia una disfluenza verbale.

Eppure Wendy's si sta espandendo a 500-600 sedi. Il motivo è semplice matematica — il sistema aumenta lo scontrino medio attraverso l'upselling, e i numeri sull'efficienza del lavoro fanno bella figura in una conference call trimestrale sugli utili. Se stai ottimizzando per la media, l'architettura è un successo. Se sei la persona per cui non funziona, l'architettura è rotta.

Ho esplorato questa tensione in modo approfondito nella versione interattiva della nostra ricerca. Ma l'argomento centrale è uno che voglio esporre personalmente, perché ha plasmato il modo in cui costruiamo tutto.

La notte in cui capimmo che il microfono era il punto di partenza sbagliato

Erano circa le 21 di un giovedì di fine primavera. Io, il mio co-fondatore e due ingegneri in piedi nel parcheggio di un Taco Bell chiuso che avevamo ottenuto il permesso di usare per i test. Avevamo il nostro prototipo montato su un palo — un altoparlante, un microfono, un po' di nastro adesivo a tenere insieme il tutto. Lo avevamo fatto girare in laboratorio per settimane con un'accuratezza di circa il 95%. Ci sentivamo pronti.

La prima auto ad accostare era una donna in una Honda Civic con il finestrino abbassato a metà. Disse "Vorrei un menu numero tre" in modo abbastanza chiaro. Il sistema sentì "island numb recon bowl". Guardai il mio co-fondatore. Lui guardò per terra.

L'accuratezza non era solo scarsa — era inutilizzabile. Restammo in quel parcheggio per altre due ore, eseguendo test dopo test, e i numeri peggioravano solo man mano che il traffico serale aumentava. Ricordo il momento esatto in cui smisi di sentirmi frustrato e iniziai a provare qualcosa di più vicino allo sgomento: questo non era un problema di messa a punto. Il nostro intero approccio era sbagliato.

Il problema non era il modello linguistico. Il modello andava bene. Il problema era tutto ciò che accadeva prima che l'audio raggiungesse il modello. Rumore del vento. Rombo del motore. Il ronzio meccanico di un impianto HVAC a sei metri di distanza. Il clacson di un'auto a tre isolati di distanza. Il nostro sistema non riusciva a distinguere tra una voce umana e un motore diesel perché, a livello di segnale, nessuno gli aveva insegnato a farlo.

Quello fu il momento in cui capii una cosa che, credo, la maggior parte delle persone in questo settore non ha ancora interiorizzato: l'IA vocale non è un problema di NLP. È prima di tutto un problema di elaborazione del segnale, in secondo luogo un problema di linguistica e in terzo luogo un problema di NLP. Se il tuo primo livello è rotto, niente a valle può salvarti.

Perché l'IA dei drive-thru continua a interrompere le persone?

Il colpevole è una cosa chiamata Voice Activity Detection — VAD. È il sistema che decide quando hai iniziato a parlare e quando hai smesso. Nella maggior parte delle soluzioni wrapper, è una semplice soglia di energia: il suono supera una linea, la registrazione inizia; il suono scende sotto una linea, la registrazione si ferma.

Pensa a questo in un drive-thru. Fai una pausa di mezzo secondo per dare un'occhiata al menu. L'energia cala. Il VAD decide che hai finito. Invia un frammento di frase al modello, il modello allucina una risposta a una domanda che non hai mai finito di porre, e ora stai discutendo con un altoparlante.

Abbiamo ricostruito il nostro VAD da zero. Invece delle soglie di energia, usiamo modelli neurali — Silero, Cobra — che producono un punteggio di probabilità per il parlato umano su diverse frequenze. Invece di un acceso/spento binario, il nostro sistema fornisce un livello di confidenza. E invece di una tolleranza di pausa statica di 500 millisecondi, usiamo una finestra dinamica da 600 a 1.000 millisecondi che si adatta in base al contesto conversazionale.

Il trucco che ha fatto la differenza maggiore, però, era ciò che chiamiamo trascrizione speculativa. Il sistema inizia a elaborare l'audio a 250 millisecondi, ma non si impegna su un endpoint fino a 600 millisecondi di silenzio confermato. Questa sovrapposizione riduce la latenza percepita di 350-600 millisecondi eliminando al contempo le interruzioni premature.

Il mio co-fondatore sostenne per settimane che la finestra di pausa dinamica fosse sovraingegnerizzata. Eravamo in ufficio a tarda notte — caffè freddo, lavagne coperte di diagrammi di latenza — e lui spinse indietro la sedia e disse: "Stiamo spendendo tre settimane-ingegnere su una funzionalità che fa risparmiare mezzo secondo. Nessuno fa una pausa di un secondo intero a un drive-thru. Questo è un problema di vanità." Io dissi qualcosa come: "E se ti sbagli, abbiamo costruito un sistema che interrompe ogni cliente che ha bisogno di pensare." Non ci parlammo per il resto della notte. Se ne andò verso mezzanotte. Io rimasi e continuai a eseguire simulazioni.

Poi lo testammo con clienti reali. Si scopre che le persone fanno pause di continuo — guardando il menu, girandosi per chiedere a un passeggero cosa vuole, riflettendo se hanno davvero bisogno delle patatine. Un secondo intero di pausa naturale non è silenzio. È riflessione. Il mio co-fondatore mi inviò un messaggio di una riga dopo aver visto i risultati dei test: "Avevi ragione. Scusa per la sedia."

Quando ottimizzi per la velocità a scapito della pazienza, costruisci un sistema che funziona solo per le persone che sanno già cosa vogliono.

80 milioni di persone

La balbuzie colpisce oltre 80 milioni di persone a livello globale. Quel numero mi colpì in modo diverso dopo il parcheggio.

Si manifesta come ripetizioni ("b-b-b-baconator"), prolungamenti ("mmmmilk") e blocchi — pause silenziose nel mezzo di una parola in cui la persona non riesce fisicamente a produrre suono.

Ora pensa a cosa fa un VAD standard con un blocco. La persona smette di produrre suono a metà parola. Il sistema interpreta il silenzio come il completamento del turno. Risponde a metà parola. La persona riprova. Il sistema tratta la ripetizione come un nuovo ordine. Nel giro di dieci secondi, ti ritrovi con un'IA confusa, un essere umano frustrato e una fila di auto che si accumula dietro di loro.

Questo non è un caso limite. È una scelta di progettazione. Quando addestri un modello ASR (Automatic Speech Recognition) quasi esclusivamente sull'inglese americano "standard" — ben articolato, con pause minime — stai prendendo una decisione su chi è destinato il tuo sistema. La ricerca mostra che i modelli ASR basati su Conformer (un'architettura neurale che combina la convoluzione con l'auto-attenzione per l'elaborazione audio), la spina dorsale della maggior parte dei sistemi moderni, vedono le loro prestazioni degradarsi così gravemente sul parlato disordinato che alcuni restituiscono negativi punteggi di similarità semantica. Non solo imprecisi — semanticamente invertiti.

Quando il tuo modello di IA restituisce punteggi semantici negativi sul parlato disordinato, non hai costruito un sistema che fatica con i casi limite. Hai costruito un sistema che non è mai stato progettato per udire una parte significativa dell'umanità.

Un investitore una volta mi disse, senza mezzi termini: "Usa semplicemente l'API e fai il fine-tuning più tardi. Stai bruciando capitale su un problema che riguarda una piccola percentuale di clienti." Tirai fuori i numeri sul mio telefono — 80 milioni di persone con la sola balbuzie, prima di contare gli accenti, chi parla inglese come seconda lingua (ESL, English as a Second Language), i clienti anziani, chiunque ordini in un'auto rumorosa. Vidi la sua espressione cambiare. "Non è una piccola percentuale," disse. "No," dissi io. "Non lo è."

Facciamo il fine-tuning di modelli auto-supervisionati su dataset di parlato disfluente ri-annotati. Usiamo l'inserimento sintetico di disfluenze — prendendo trascrizioni fluenti, aggiungendo blocchi e ripetizioni, sintetizzandoli in audio di addestramento. È un lavoro meticoloso. Non è il genere di cosa che compare in una tabella di confronto delle funzionalità. Ma è la differenza tra un sistema che funziona per tutti e un sistema che funziona per la media.

Cosa succede quando l'IA vocale gira sull'edge invece che sul cloud?

Ogni parola pronunciata in un microfono del drive-thru di Wendy's viaggia attraverso l'internet pubblico fino a un data center di Google e ritorno. Quel viaggio di andata e ritorno costa dai 100 ai 500 millisecondi prima ancora che il modello inizi a elaborare. Nell'interazione vocale, lo standard di riferimento è un tempo di risposta inferiore ai 300 millisecondi — qualsiasi valore superiore, e la conversazione smette di sembrare naturale. A 700-900 millisecondi, sembra una telefonata disturbata. A due secondi, le persone iniziano a parlare sopra il sistema.

Abbiamo spostato tutto sull'edge. Elaborazione locale su hardware specializzato presso la sede del ristorante. La nostra latenza è scesa a 5-10 millisecondi.

Ma l'intuizione reale non era solo la velocità — era la dimensione del modello. Un LLM generalista deve sapere tutto di tutto. Uno Small Language Model specifico per il dominio deve sapere che "Dave's Single" è un hamburger, non un album musicale. Quel focus significa inferenza più rapida, risposte più prevedibili e una frazione del costo computazionale. Abbiamo visto miglioramenti di velocità di 3 volte e costi operativi inferiori del 30-40% rispetto agli approcci basati sul cloud.

L'architettura edge ha risolto anche un problema che non avevamo del tutto previsto: l'affidabilità. Quando internet va giù — e succederà — un sistema dipendente dal cloud diventa un fermacarte molto costoso. Il nostro sistema continua a funzionare. Per l'analisi tecnica completa della nostra architettura edge rispetto agli approcci cloud, puoi approfondire il paper di ricerca.

Il muro normativo di cui nessuno parla

Il CAN-ASC-6.2:2025 è arrivato sulla mia scrivania all'inizio del 2025, e ricordo di averlo letto con qualcosa a metà tra il sollievo e la rivincita — ecco uno standard che finalmente diceva ciò verso cui stavamo costruendo: le persone con disabilità devono essere coinvolte nella progettazione, nel collaudo e nella governance dei sistemi di IA. Non come un ripensamento. Fin dall'inizio. L'European Accessibility Act inizia la sua applicazione a giugno 2025 con multe salate, e l'ADA viene reinterpretato per coprire le barriere digitali per le persone con disabilità del linguaggio. Adeguare un sistema non conforme su 600 sedi costa all'incirca cinque volte quanto costa costruirlo bene fin dall'inizio.

"E se stessimo solo costruendo un modo davvero costoso per prendere un ordine di hamburger?"

Quel pensiero mi colpì verso le 2 del mattino, forse a sei mesi dall'inizio dello sviluppo. Ero solo in ufficio, a fissare lo spettrogramma di una parola balbettata che il nostro sistema ancora non riusciva ad analizzare. Ci lavoravamo da mesi. Avevamo bruciato la maggior parte del nostro finanziamento iniziale. E le aziende con approccio API wrapper rilasciavano prodotti mentre noi stavamo ancora facendo il debug delle pipeline di elaborazione del segnale.

Ci ho quasi rinunciato. Ho quasi deciso di limitarmi a fare il wrap dell'API, rilasciare qualcosa e iterare più tardi come tutti gli altri.

Ma "iterare più tardi" è una menzogna nell'IA vocale. Una volta che hai costruito la tua architettura attorno ad assunzioni basate sulla dipendenza dal cloud, sulla soglia del VAD e sul solo parlato fluente, ogni interazione con il cliente rafforza quelle assunzioni nei tuoi dati di addestramento. Non iteri verso l'accessibilità. Iteri allontanandotene.

Costruisci prima per il caso limite, e il caso medio si risolve da sé. Costruisci per la media, e il caso limite non viene mai risolto.

Il problema dell'alternanza dei turni che mi ha fatto ripensare tutto

C'è una sottigliezza nella conversazione umana che diamo completamente per scontata. Quando dici "Vorrei un Baconator e..." — quell'"e" in sospeso segnala che non hai finito. Un cassiere umano aspetterebbe. La maggior parte delle IA dei drive-thru no.

Abbiamo integrato ciò che considero una grammatica conversazionale nella nostra logica di endpointing. Il sistema analizza gli indizi linguistici in tempo reale: congiunzioni che segnalano una continuazione, cambi di tono che segnalano il completamento, la frase "tutto qui" che significa esattamente ciò che dice. Quando un cliente dice "tutto qui", il nostro sistema risponde in meno di 200 millisecondi perché l'intento è inequivocabile. Quando si interrompe con "e...", aspetta, anche attraverso un secondo intero di silenzio.

È anche qui che vive la nostra filosofia human-in-the-loop. Non crediamo che l'IA debba gestire l'intera transazione senza supervisione. Le richieste semplici e transazionali — se ne occupa l'IA. Le situazioni complesse, i clienti frustrati, i momenti ad alto attrito — quelli vengono inoltrati a un essere umano prima che l'interazione si guasti, non dopo.

L'obiettivo non è mai stato sostituire l'essere umano al drive-thru. Era assicurarsi che nessun cliente debba mai urlare "OPERATORE" a una macchina che non sta ascoltando.

Continuo a tornare su quel tasso di successo dell'86% riportato da Wendy's. Nella maggior parte dei contesti software, l'86% sarebbe un fallimento. Immagina un'app bancaria che elabora correttamente l'86% delle transazioni. Immagina un sistema di navigazione che ti porta alla destinazione giusta l'86% delle volte. Il drive-thru ha in qualche modo normalizzato un tasso di fallimento che sarebbe inaccettabile in qualsiasi altra interazione con i consumatori.

Questo è un problema di architettura, non un problema di IA

Lo schema che vedo in tutto il settore è quello di aziende che trattano l'IA vocale come uno strato software — qualcosa che aggiungi sopra l'infrastruttura esistente con la giusta chiave API. E capisco perché. È veloce, è economico, e le demo sono incredibili.

Ma il drive-thru non è una demo. È motori diesel e vento e bambini piccoli e accenti e balbuzie e persone che si fermano a pensare. È la piena, irriducibile complessità della comunicazione umana che avviene nel peggior ambiente acustico possibile. Non puoi cavartela con un wrapper di fronte a questo.

Le aziende che vinceranno questo mercato — e lo dico con il pregiudizio di chi ci ha scommesso la carriera — sono quelle disposte ad andare in profondità. In profondità nell'elaborazione del segnale. In profondità nella modellazione acustica. In profondità nella linguistica di come le persone parlano davvero, non di come i dati di addestramento dell'ASR dicono che dovrebbero. In profondità nell'infrastruttura edge che non dipende da un data center a mille miglia di distanza.

Non ci sono scorciatoie nell'IA vocale. C'è solo il lavoro rigoroso, poco affascinante e profondamente tecnico di costruire sistemi che ascoltano ogni cliente. Non l'86% di loro. Ognuno di essi.

Questo è ciò che significa di livello enterprise. E finché il settore non accetterà quella definizione, continueremo a guardare video di altoparlanti di drive-thru che non riescono a capire la parola "Baconator".