Ik zag een drive-thru-AI iemand die stottert onderbreken. Toen bouwde ik iets anders.

Er is een video die de ronde doet op Reddit. Een vrouw bij een Wendy's drive-thru probeert een Baconator te bestellen. Ze stottert — een blokkade op de "b" — en de AI onderbreekt haar midden in het woord en stelt vrolijk een Frosty voor. Ze probeert het opnieuw. Het systeem interpreteert haar herhaling als een nieuwe bestelling. Drie pogingen later staat ze "MEDEWERKER" te schreeuwen tegen een luidsprekerbox die het niets kan schelen.

Ik heb die video waarschijnlijk dertig keer bekeken. Niet omdat hij grappig is — dat is hij niet — maar omdat elke fout in die interactie precies te herleiden is tot een architecturale beslissing die iemand in een vergaderzaal heeft genomen, waarschijnlijk terwijl hij naar een slide keek waarop stond "86% succespercentage."

Die resterende 14%? Dat zijn echte mensen. En ik zou willen beweren dat de architectuur überhaupt nooit voor hen is gebouwd.

Dit is het verhaal van waarom mijn team bij Veriprajna het grootste deel van twee jaar heeft besteed aan het afwijzen van de snelste weg naar de markt in voice-AI — en wat we in plaats daarvan hebben gebouwd.

Wat betekent "voice-AI van enterprise-niveau" eigenlijk?

De meeste bedrijven in onze branche doen iets opmerkelijk eenvoudigs: ze verbinden een microfoon met een API. OpenAI, Google, Anthropic — kies je favoriete large language model, voer audio in, krijg tekst terug, genereer een reactie. Lanceer het.

Ik noem dit de API-wrapper-aanpak, en die werkt prachtig in een demo. Een stille ruimte, een duidelijke spreker, een eenvoudig verzoek. De demo werkt altijd.

De demo werkt altijd. De drive-thru om 23:47 uur met een stationair draaiende dieseltruck achter je en een peuter die op de achterbank krijst — dat is waar architectuur er echt toe doet.

Het Wendy's FreshAI-systeem — gebouwd op Vertex AI van Google Cloud — is waarschijnlijk het meest spraakmakende voorbeeld van deze aanpak op grote schaal. En de gerapporteerde klantervaringen vertellen je alles wat je moet weten over de beperkingen ervan: klanten die drie of meer pogingen nodig hebben voor eenvoudige bestellingen, het systeem dat mensen midden in een zin onderbreekt om items voor te stellen waar ze niet om vroegen, en een ervaring die als "onbruikbaar" wordt omschreven voor iedereen met een spraakonvloeiendheid.

Toch breidt Wendy's uit naar 500-600 locaties. De reden is simpele rekenkunde — het systeem verhoogt het gemiddelde bestelbedrag door upselling, en de cijfers over arbeidsefficiëntie zien er goed uit tijdens een kwartaalcijfergesprek. Als je optimaliseert voor het gemiddelde, is de architectuur een succes. Als je de persoon bent voor wie het niet werkt, is de architectuur kapot.

Ik heb deze spanning uitgebreid onderzocht in de interactieve versie van ons onderzoek. Maar het kernargument is er een dat ik persoonlijk wil maken, omdat het bepaald heeft hoe we alles bouwen.

De nacht waarop we ons realiseerden dat de microfoon de verkeerde plek was om te beginnen

Het was ongeveer 21:00 uur op een donderdag in het late voorjaar. Ik, mijn medeoprichter en twee ingenieurs stonden op de parkeerplaats van een gesloten Taco Bell die we voor tests mochten gebruiken. We hadden ons prototype op een paal gemonteerd — een luidspreker, een microfoon, wat ducttape dat alles bij elkaar hield. We hadden het weken in het lab draaien met ongeveer 95% nauwkeurigheid. We voelden ons er klaar voor.

De eerste auto die kwam aanrijden was een vrouw in een Honda Civic met haar raam halverwege naar beneden. Ze zei "Ik wil graag een combo nummer drie" duidelijk genoeg. Het systeem hoorde "eiland verdoofd verkenning kom." Ik keek naar mijn medeoprichter. Hij keek naar de grond.

De nauwkeurigheid was niet alleen slecht — het was onbruikbaar. We stonden nog twee uur op die parkeerplaats, deden test na test, en de cijfers werden alleen maar slechter naarmate het avondverkeer toenam. Ik herinner me het exacte moment waarop ik ophield me gefrustreerd te voelen en iets begon te voelen dat dichter bij angst lag: dit was geen afstelprobleem. Onze hele aanpak was verkeerd.

Het probleem was niet het taalmodel. Het model was prima. Het probleem was alles wat er gebeurde voordat de audio het model bereikte. Windgeruis. Motorgebrom. Het mechanische gezoem van een HVAC-unit zes meter verderop. Een autoclaxon drie straten verderop. Ons systeem kon het verschil niet zien tussen een menselijke stem en een dieselmotor omdat niemand het op signaalniveau had geleerd.

Dat was het moment waarop ik iets begreep waarvan ik denk dat de meeste mensen in deze branche het nog steeds niet hebben verinnerlijkt: voice-AI is geen NLP-probleem. Het is in de eerste plaats een signaalverwerkingsprobleem, in de tweede plaats een taalkundig probleem en in de derde plaats een NLP-probleem. Als je eerste laag kapot is, kan niets stroomafwaarts je nog redden.

Waarom blijft drive-thru-AI mensen onderbreken?

De boosdoener is iets dat Voice Activity Detection heet — VAD. Het is het systeem dat beslist wanneer je bent begonnen met praten en wanneer je bent gestopt. In de meeste wrapper-oplossingen is het een eenvoudige energiedrempel: geluid komt boven een lijn, de opname start; geluid zakt onder een lijn, de opname stopt.

Denk daar eens over na in een drive-thru. Je pauzeert een halve seconde om een blik op het menubord te werpen. De energie zakt. De VAD besluit dat je klaar bent. Het stuurt een zinsfragment naar het model, het model hallucineert een antwoord op een vraag die je nooit hebt afgemaakt, en nu sta je te ruziën met een luidsprekerbox.

We hebben onze VAD helemaal opnieuw opgebouwd. In plaats van energiedrempels gebruiken we neurale modellen — Silero, Cobra — die een waarschijnlijkheidsscore voor menselijke spraak over uiteenlopende frequenties genereren. In plaats van een binaire aan/uit geeft ons systeem een betrouwbaarheidsniveau. En in plaats van een statische pauzetolerantie van 500 milliseconden gebruiken we een dynamisch venster van 600 tot 1.000 milliseconden dat zich aanpast op basis van de conversationele context.

De truc die echter het grootste verschil maakte, was wat wij speculatieve transcriptie noemen. Het systeem begint audio te verwerken bij 250 milliseconden, maar legt zich pas vast op een eindpunt na 600 milliseconden bevestigde stilte. Die overlap vermindert de waargenomen latentie met 350 tot 600 milliseconden en elimineert tegelijkertijd voortijdige onderbrekingen.

Mijn medeoprichter betoogde wekenlang dat het dynamische pauzevenster overontworpen was. We waren op een avond laat op kantoor — koude koffie, whiteboards vol latentiediagrammen — en hij duwde zijn stoel naar achteren en zei: "We besteden drie ingenieurweken aan een functie die een halve seconde bespaart. Niemand pauzeert een volle seconde bij een drive-thru. Dit is een ijdelheidsprobleem." Ik zei zoiets als: "En als je ongelijk hebt, hebben we een systeem gebouwd dat elke klant onderbreekt die moet nadenken." We spraken de rest van de avond niet meer. Hij vertrok rond middernacht. Ik bleef en bleef simulaties draaien.

Toen testten we het met echte klanten. Het bleek dat mensen voortdurend pauzeren — ze kijken naar het menu, draaien zich om om een passagier te vragen wat hij wil, denken na over of ze echt friet nodig hebben. Een volle seconde natuurlijke pauze is geen stilte. Het is nadenken. Mijn medeoprichter stuurde me een bericht van één regel nadat hij de testresultaten had gezien: "Je had gelijk. Sorry van de stoel."

Wanneer je optimaliseert voor snelheid boven geduld, bouw je een systeem dat alleen werkt voor mensen die al weten wat ze willen.

80 miljoen mensen

Stotteren treft wereldwijd meer dan 80 miljoen mensen. Dat getal kwam voor mij anders binnen na de parkeerplaats.

Het uit zich in herhalingen ("b-b-b-baconator"), verlengingen ("mmmmelk"), en blokkades — stille pauzes midden in een woord waarbij de persoon fysiek geen geluid kan voortbrengen.

Denk nu eens na over wat een standaard-VAD doet met een blokkade. De persoon stopt met geluid maken midden in het woord. Het systeem interpreteert stilte als het einde van de beurt. Het reageert op een half woord. De persoon probeert het opnieuw. Het systeem behandelt de herhaling als een nieuwe bestelling. Binnen tien seconden heb je een verwarde AI, een gefrustreerde mens en een rij auto's die zich erachter opbouwt.

Dit is geen randgeval. Dit is een ontwerpkeuze. Wanneer je een ASR-model (Automatic Speech Recognition) bijna uitsluitend traint op "standaard" Amerikaans Engels — goed gearticuleerd, minimale pauzes — neem je een beslissing over voor wie je systeem bedoeld is. Onderzoek toont aan dat op Conformer gebaseerde (een neurale architectuur die convolutie combineert met self-attention voor audioverwerking) ASR-modellen, de ruggengraat van de meeste moderne systemen, hun prestaties zó ernstig zien verslechteren bij verstoorde spraak dat sommige negatieve semantische gelijkeniscores retourneren. Niet alleen onnauwkeurig — semantisch omgekeerd.

Wanneer je AI-model negatieve semantische scores retourneert bij verstoorde spraak, heb je geen systeem gebouwd dat worstelt met randgevallen. Je hebt een systeem gebouwd dat nooit ontworpen was om een aanzienlijk deel van de mensheid te horen.

Een investeerder zei ooit botweg tegen me: "Gebruik gewoon de API en verfijn later. Je verbrandt kapitaal aan een probleem dat een klein percentage klanten treft." Ik haalde de cijfers erbij op mijn telefoon — 80 miljoen mensen met alleen al stotteren, nog voordat je accenten, ESL-sprekers (English as a Second Language), oudere klanten en iedereen die in een lawaaierige auto bestelt meetelt. Ik zag zijn gezicht veranderen. "Dat is geen klein percentage," zei hij. "Nee," zei ik. "Dat is het niet."

We verfijnen zelfgesuperviseerde modellen op opnieuw geannoteerde datasets met onvloeiende spraak. We gebruiken synthetische inbreng van onvloeiendheid — we nemen vloeiende transcripties, voegen blokkades en herhalingen toe, en synthetiseren die tot trainingsaudio. Het is nauwgezet werk. Het is niet het soort dat opduikt in een functievergelijkingstabel. Maar het is het verschil tussen een systeem dat voor iedereen werkt en een systeem dat voor het gemiddelde werkt.

Wat gebeurt er wanneer voice-AI op de edge draait in plaats van in de cloud?

Elk woord dat in een Wendy's drive-thru-microfoon wordt gesproken, reist over het openbare internet naar een datacenter van Google en weer terug. Die heenreis kost 100 tot 500 milliseconden voordat het model zelfs maar begint met verwerken. Bij spraakinteractie is de gouden standaard een reactietijd van minder dan 300 milliseconden — alles daarboven, en het gesprek voelt niet meer natuurlijk. Bij 700 tot 900 milliseconden voelt het als een slecht telefoongesprek. Bij twee seconden gaan mensen door het systeem heen praten.

We hebben alles naar de edge verplaatst. Lokale verwerking op gespecialiseerde hardware op de restaurantlocatie. Onze latentie daalde naar 5 tot 10 milliseconden.

Maar het echte inzicht was niet alleen snelheid — het was modelgrootte. Een LLM voor algemene doeleinden moet alles over alles weten. Een domeinspecifiek Small Language Model moet weten dat "Dave's Single" een hamburger is, geen muziekalbum. Die focus betekent snellere inferentie, meer voorspelbare reacties en een fractie van de rekenkosten. We hebben 3x snelheidsverbeteringen gezien en 30 tot 40% lagere operationele kosten in vergelijking met cloudgebaseerde aanpakken.

De edge-architectuur loste ook een probleem op dat we niet volledig hadden voorzien: betrouwbaarheid. Wanneer het internet uitvalt — en dat gebeurt — wordt een cloudafhankelijk systeem een zeer dure presse-papier. Ons systeem blijft draaien. Voor de volledige technische uiteenzetting van onze edge-architectuur versus cloudaanpakken kun je je verdiepen in het onderzoekspaper.

De regelgevingsmuur waar niemand over praat

CAN-ASC-6.2:2025 belandde begin 2025 op mijn bureau, en ik herinner me dat ik het las met iets tussen opluchting en genoegdoening in — hier was een standaard die eindelijk zei waar we naartoe hadden gebouwd: mensen met een handicap moeten betrokken worden bij het ontwerp, het testen en het bestuur van AI-systemen. Niet als bijzaak. Vanaf het begin. De European Accessibility Act begint met handhaving in juni 2025 met forse boetes, en de ADA wordt heringterpreteerd om digitale barrières voor mensen met spraakhandicaps te dekken. Het achteraf aanpassen van een niet-conform systeem op 600 locaties kost ongeveer vijf keer zoveel als het meteen vanaf het begin goed bouwen.

"Wat als we gewoon een heel dure manier aan het bouwen zijn om een hamburgerbestelling op te nemen?"

Die gedachte trof me rond 2 uur 's nachts, misschien zes maanden na de start van de ontwikkeling. Ik was alleen op kantoor en staarde naar een spectrogram van een gestotterd woord dat ons systeem nog steeds niet kon ontleden. We waren hier al maanden mee bezig. We hadden het grootste deel van onze aanvangsfinanciering opgebrand. En de API-wrapper-bedrijven waren product aan het lanceren terwijl wij nog steeds signaalverwerkingspijplijnen aan het debuggen waren.

Ik gaf het bijna op. Bijna besloot ik om gewoon de API te wrappen, iets te lanceren en later te itereren zoals iedereen.

Maar "later itereren" is een leugen in voice-AI. Zodra je je architectuur hebt gebouwd rond aannames van cloudafhankelijkheid, VAD-drempels en uitsluitend vloeiende spraak, versterkt elke klantinteractie die aannames in je trainingsdata. Je itereert niet naar toegankelijkheid toe. Je itereert ervan weg.

Bouw eerst voor het randgeval, en het gemiddelde geval zorgt voor zichzelf. Bouw voor het gemiddelde, en het randgeval wordt nooit opgelost.

Het beurtwisselingsprobleem dat me alles deed heroverwegen

Er zit een subtiliteit in menselijke conversatie die we volledig als vanzelfsprekend beschouwen. Wanneer je zegt "Ik wil graag een Baconator en..." — dat afsluitende "en" signaleert dat je nog niet klaar bent. Een menselijke kassamedewerker zou wachten. De meeste drive-thru-AI doet dat niet.

We hebben wat ik zie als conversationele grammatica ingebouwd in onze endpointing-logica. Het systeem ontleedt taalkundige aanwijzingen in realtime: voegwoorden die continuïteit signaleren, toonhoogteveranderingen die voltooiing signaleren, de zinsnede "dat was het" die precies betekent wat er staat. Wanneer een klant "dat was het" zegt, reageert ons systeem binnen 200 milliseconden omdat de intentie ondubbelzinnig is. Wanneer ze wegsterven met "en..." wacht het, zelfs door een volle seconde stilte heen.

Dit is ook waar onze human-in-the-loop-filosofie leeft. Wij geloven niet dat AI de hele transactie onbewaakt zou moeten afhandelen. Eenvoudige, transactionele verzoeken — die handelt de AI af. Complexe situaties, gefrustreerde klanten, momenten met veel wrijving — die escaleren naar een mens voordat de interactie afbreekt, niet erna.

Het doel was nooit om de mens bij de drive-thru te vervangen. Het was om ervoor te zorgen dat geen enkele klant ooit "MEDEWERKER" hoeft te schreeuwen tegen een machine die niet luistert.

Ik blijf terugkomen op dat succespercentage van 86% dat Wendy's rapporteerde. In de meeste softwarecontexten zou 86% een mislukking zijn. Stel je een bank-app voor die 86% van de transacties correct verwerkt. Stel je een navigatiesysteem voor dat je 86% van de tijd naar de juiste bestemming brengt. De drive-thru heeft op de een of andere manier een foutpercentage genormaliseerd dat bij elke andere consumenteninteractie onaanvaardbaar zou zijn.

Dit is een architectuurprobleem, geen AI-probleem

Het patroon dat ik in de hele branche zie, is dat bedrijven voice-AI behandelen als een softwarelaag — iets dat je met de juiste API-sleutel bovenop bestaande infrastructuur monteert. En ik begrijp waarom. Het is snel, het is goedkoop en de demo's zijn ongelooflijk.

Maar de drive-thru is geen demo. Het zijn dieselmotoren en wind en peuters en accenten en gestotter en mensen die pauzeren om na te denken. Het is de volledige, onherleidbare complexiteit van menselijke communicatie die plaatsvindt in de slechtst denkbare akoestische omgeving. Daar kun je je niet doorheen wrapperen.

De bedrijven die deze markt zullen winnen — en ik zeg dit met de vooringenomenheid van iemand die zijn carrière erop heeft ingezet — zijn degenen die bereid zijn de diepte in te gaan. Diep in de signaalverwerking. Diep in akoestische modellering. Diep in de taalkunde van hoe mensen daadwerkelijk praten, niet hoe ASR-trainingsdata zegt dat ze zouden moeten praten. Diep in edge-infrastructuur die niet afhankelijk is van een datacenter duizend mijl verderop.

Er zijn geen shortcuts in voice-AI. Er is alleen het rigoureuze, onglamoureuze, diep technische werk van het bouwen van systemen die elke klant horen. Niet 86% van hen. Elke afzonderlijke klant.

Dat is wat enterprise-niveau betekent. En totdat de branche die definitie accepteert, blijven we video's bekijken van drive-thru-luidsprekers die het woord "Baconator" niet kunnen verstaan.