Voice AI & conversationele systemen

Voice AI-platforms zijn alomtegenwoordig in 2026 — met Retell, Vapi, Bland en tientallen andere zet u in één middag een telefonische agent op. Ze werken prima voor het boeken van afspraken, eenvoudige FAQ-routering en uitgaande bevestigingsgesprekken. Maar zodra de eisen complexer worden, bezwijkt het platform dat u door de demo hielp onder de druk van de werkelijke usecase. Onze aanpak is om speciaal voor die situaties maatwerk-voicepipelines te bouwen op basis van best-of-breed componenten.

Het platformplafond is reëel

Platforms volstaan voor een eenvoudige demo, maar stuiten daarna snel op hun grenzen. Een intakegesprek voor verzekeringen moet vijftien gegevensvelden bijhouden door een vertakkend gesprek heen. Een medische triagebot moet medicijnnamen herkennen die klinken als alledaagse Engelse woorden. Een betalingsstroom vereist PCI-DSS-isolatie waarbij geen creditcardgegevens het LLM mogen raken. Dit zijn precies de usecases waarop standaardoplossingen vastlopen.

De reeks mislukkingen is uitvoerig gedocumenteerd. McDonald's werkte twee jaar en in 100+ restaurants samen met IBM voordat het zijn drive-through voice AI stopzette in juni 2024 — het systeem kon niet omgaan met accenten, achtergrondgeluid of bestelcorrecties. Daarentegen boekte Wendy's FreshAI met Google Cloud een snelheidswinst van 22 seconden door te investeren in natuurlijke-taalverwerking voor pauzes, correcties en complexe aanpassingen. Het verschil zat in technische diepgang toegepast op audio uit de echte wereld.

Wij ontwerpen elke pipeline specifiek voor het latentiebudget, de woordenschat en de regelgevende kaders van het concrete project, een aanpak die nader wordt beschreven in ons onderzoek naar waarom voice AI verder moet gaan dan API-wrappers.

Latentie is de doodsteek voor elk gesprek

De standaardpipeline doorloopt speech-to-text, vervolgens een LLM voor redenering en daarna text-to-speech. Elke stap voegt 100–300 ms toe plus netwerkoverhead, waardoor de totale round-trip-latentie oploopt tot 1–2 seconden — ruim voorbij de drempelwaarde van 800 ms waarop het vertrouwen wegvalt. Wij elimineren latentie in elke afzonderlijke laag:

• ASR: Deepgram nova-3 levert streaming-transcriptie onder de 300 ms met een mediane word error rate van 5–7% in productie, vergeleken met de batchgerichte architectuur van Whisper die audio verwerkt in blokken van 30 seconden.
• TTS: Cartesia Sonic genereert de eerste audio in circa 40 ms; ElevenLabs Flash v2.5 in circa 75 ms.
• LLM-inferentie — waar de meeste latentie verborgen zit: speculatieve responsgeneratie begint al met het formuleren van waarschijnlijke antwoorden terwijl de beller nog spreekt, en streamt de eerste audiotokens nog voordat het volledige antwoord is gegenereerd.

Telefonie introduceert zijn eigen verborgen latentie. De WebSocket-verbindingen van Twilio Media Streams veroorzaken jitter die in labtests nooit naar voren komt; hun nieuwere ConversationRelay-product verlaagt deze overhead, en Genesys AudioHook vertoont vergelijkbare kenmerken. Selectie van SIP-trunks, codec-transcodering en afstemming van de jitterbuffer dragen elk 20–50 ms bij, wat ongemerkt cumuleert. Wij analyseren het volledige audiopad van microfoon tot luidspreker — niet alleen de AI-inferentiestap — want dat is waar latentie in de praktijk ontstaat.

Domeinspecifieke woordenschat breekt generieke ASR

Generieke spraakherkenning is geoptimaliseerd voor alledaags Engels. Een zin als "I'd like to schedule an appointment" gaat prima. Maar "atorvastatin 40 milligrams QD", "force majeure clause in section 12.3(b)" of "part number XKCD-4419-REV-C" lukt niet zonder hulp. Functies voor aangepaste woordenschat zoals phrase boosting zijn bij de meeste ASR-providers wel aanwezig, maar ze zijn kwetsbaar wanneer versterkte termen fonetisch lijken op gangbare woorden.

Voor gereguleerde sectoren waar herkenningsfouten directe gevolgen hebben in downstream-processen, is onze aanpak om ASR-modellen te finetunen op domeinspecifieke corpora:

• Medische spraakherkenning vereist training op klinische notities en dictaten van artsen.
• Juridische dictaatverwerking vereist blootstelling aan archaïsche formuleringen en citatieformaten.
• Financiële dienstverlening kent gesprekken met tickersymbolen en bedrijfseigen productnamen die geen enkel generiek model ooit heeft gezien.

Google Research toonde in 2023 aan dat het verrijken van trainingsdata met synthetische spraak met accenten de herkenningsnauwkeurigheid voor ondervertegenwoordigde accenten verbeterde, zonder dat de prestaties voor goed vertegenwoordigde accenten achteruitgingen. Wij passen hetzelfde principe toe op domeinwoordenschat: verrijk de trainingsdistributie met exact die termen waarmee het systeem te maken krijgt, gevalideerd op basis van echte audio uit de productieomgeving.

Gespreksstatus is een engineeringprobleem, geen promptprobleem

Eenvoudige voice agents voeren de volledige gespreksgeschiedenis in het contextvenster van een LLM in en vertrouwen erop dat het model bijhoudt wat er is besproken. Dit werkt voor korte, lineaire interacties. Het faalt echter bij complexe meerstapsgesprekken waarin de beller informatie in willekeurige volgorde verstrekt, eerdere uitspraken corrigeert of het gesprek zich vertakt op basis van verzamelde gegevens.

Wij ontwerpen gestructureerd dialoogbeheer dat de gespreksstatus scheidt van het taalmodel. Verplichte velden, validatieregels, vertakkingslogica en escalatietriggers worden gedefinieerd in een state machine die het LLM niet kan overschrijven; het model verzorgt het begrip en de generatie van natuurlijke taal binnen de kaders die de state machine stelt. Dit betekent dat het systeem kan bijhouden dat de beller diens geboortedatum al in interactie drie heeft opgegeven, zelfs als er in interactie zeven een andere datum valt; dat voor een verzekeringsclaim alle vijftien gegevensvelden vereist zijn alvorens door te sturen naar beoordeling; en dat het systeem zonder expliciete autorisatie geen toezegging kan doen over een prijs, deadline of dekkingsbesluit.

Voor voice AI in de gezondheidszorg is deze architectuur niet optioneel. HIPAA vereist dat het systeem nooit beschermde gezondheidsinformatie vrijgeeft aan onbevoegde partijen, wat betekent dat de dialoogmanager toegangscontroles op gespreksniveau moet afdwingen — en niet mag vertrouwen op promptinstructies die het LLM onder doelgerichte manipulatie of contextvensterdrift zou kunnen negeren, een betrouwbaarheidsvisie die we toelichten in ons onderzoek naar architectuur en betrouwbaarheid in deep AI-systemen.

De Nuance-migratie waar niemand over praat

De on-premise spraakstack van Nuance bereikt het einde van de sustaining support rond juni 2026, en grofweg 30% van het klantenbestand van Nuance draait nog steeds on-premise. Microsoft stuurt aan op migratie naar Dynamics 365 Contact Center en Azure AI-diensten, en HCLTech lanceerde een "Nuance Migration Factory" voor grootschalige overstappen. Maar de werkelijke uitdaging is niet het vervangen van ASR-engines — het is het behoud van de dialooglogica die verankerd ligt in VXML-grammatica's die in de loop van jaren van productiegebruik zijn verfijnd.

IVR-structuren in grote ondernemingen bevatten bedrijfsregels, uitzonderingsafhandeling en randgevallen die nergens anders zijn gedocumenteerd dan in de VXML zelf. Een rip-and-replace-migratie die vanaf nul begint met een LLM-gebaseerd systeem, zal maanden besteden aan het herontdekken van randgevallen die het oude systeem al lang afhandelde. Wij benaderen Nuance-migraties als extractie van dialooglogica gevolgd door architectuurmodernisering: bestaande VXML-flows ontleden, de state machine en bedrijfsregels extraheren naar een overdraagbare representatie, en deze vervolgens implementeren op moderne infrastructuur. Een realistische doorlooptijd is 18–24 maanden voor complexe contactcenters — niet de plannen van 90 dagen die leveranciersmarketing belooft.

Naleving van wet- en regelgeving is geen optionele toevoeging

De FCC bevestigde in 2024 dat TCPA -beperkingen voor kunstmatige of vooraf opgenomen stemmen van toepassing zijn op AI-gegenereerde spraak. Elke voice AI die uitgaande oproepen plaatst, vereist voorafgaande uitdrukkelijke toestemming voor informatieve gesprekken en voorafgaande uitdrukkelijke schriftelijke toestemming voor marketinggesprekken. Overtredingen leiden tot $500–$1.500 per oproep aan wettelijke schadevergoedingen onder risicoaansprakelijkheid — opzet is niet vereist. De één-op-één-toestemmingsvereiste, uitgesteld tot april 2026, vereist individuele toestemming per verkoper, waarmee het achterdeurtje voor leadgeneratie wordt gesloten waarvan veel voice AI-leveranciers gebruikmaakten.

Naast de TCPA krijgen voice AI-implementaties ook te maken met:

• PCI-DSS bij het verwerken van betalingsgegevens — kaartnummers mogen nooit het LLM bereiken of in logbestanden verschijnen.
• HIPAA voor interacties in de zorg — BAA's, minimale noodzakelijke toegang en audittrails.
• Regelgeving op staatsniveau — de AI Act van Colorado (van kracht vanaf juni 2026) en de BIPA van Illinois.

Onze aanpak is om compliance vanaf het allereerste begin in de pipeline in te bouwen: mechanismen voor het vastleggen van toestemming en opnames, voor PCI afgeschermde audioroutering die kaartgegevens isoleert van het AI-verwerkingspad, afhandeling van opnametoestemming die zich aanpast aan de jurisdictie van de beller, en audittrails die exact vastleggen wat het systeem zei en waarom.

Bouwen, kopen of samenstellen

Het traditionele bouwen-of-kopen-dilemma is in 2026 achterhaald voor voice AI. De echte beslissing is wat u samenstelt. Opensource-frameworks zoals Pipecat (van Daily) en LiveKit Agents bieden leveranciersonafhankelijke pipeline-orkestratie; ASR-, LLM- en TTS-componenten kunnen afzonderlijk worden uitgewisseld, en telefonie sluit aan via standaard SIP-trunks of WebRTC. De vraag is waar uw usecase maatwerk vereist versus waar een standaardcomponent daadwerkelijk volstaat — en wij geven daar een eerlijk antwoord op.

Als de usecase bestaat uit het plannen van afspraken met standaard Engelstalige bellers zonder wettelijke restricties, dan is een platform voor $0,07–0,09 per minuut de juiste keuze, en dat zullen we u ook eerlijk vertellen. Elk traject begint met reële vereisten — latentiebudget, complexiteit van de woordenschat, regelgevende risico's, prognoses van het belvolume en bestaande telefonie-infrastructuur. Een project wordt afgebakend om de architectuur te ontwerpen, componenten te selecteren, het maatwerk te bouwen en een systeem op te leveren dat uw team zelf in beheer heeft, zonder afhankelijkheid van minuuttarieven van externe leveranciers.