Waarom zelfrijdende AI faalt — en wat dat voor u betekent

Het probleem

De zelfrijdende AI van Uber zag een voetganger 5,6 seconden vóór de impact. Dat had ruim voldoende tijd moeten zijn. De auto reed 43 mph en was ruwweg 378 feet verwijderd. Maar in plaats van te remmen bleef het systeem van gedachte veranderen. Het classificeerde de persoon als een "onbekend object", toen als een "voertuig", toen als een "fiets" — zes keer herclassificatie in die cruciale seconden. Elke herclassificatie resette haar voorspelde pad. De AI kon niet achterhalen wat ze was, dus kon hij niet achterhalen waar ze naartoe ging.

Tegen de tijd dat het systeem besloot dat het moest remmen, was er nog maar 1,3 seconde over. De natuurkunde maakte de botsing onvermijdelijk. Elaine Herzberg overleed in maart 2018 op een straat in Tempe, Arizona.

Wat dit nog erger maakt: Uber had het fabrieksmatig ingebouwde aanrijdingspreventiesysteem van de Volvo bewust uitgeschakeld. Het team wilde een "soepelere rit" voor hun experimentele software. Ze vervingen een bewezen veiligheidslaag door ongeverifieerde code. Als uw organisatie AI inzet in een fysieke of veiligheidskritieke omgeving, dan zou deze zaak u wakker moeten houden. Ze laat zien wat er gebeurt als u een op waarschijnlijkheid gebaseerd systeem vertrouwt met beslissingen over leven en dood én de vangnetten wegneemt.

Waarom dit belangrijk is voor uw bedrijf

Dit is niet alleen een probleem van autonome voertuigen. Het is een patroon dat zich blijft herhalen wanneer organisaties AI duwen in beslissingen met hoge inzet zonder geverifieerde veiligheidsarchitectuur. De financiële en regelgevende gevolgen zijn bruut:

• Uber betaalde $8,5 miljoen om de dodelijke zaak van 2018 te schikken. Dat bedrag dekt uitsluitend de juridische aansprakelijkheid — geen reputatieschade, geen verloren partnerschappen, geen kosten van operationele stilstand.
• GM Cruise betaalde een strafboete van $500.000 nadat zijn robotaxi een voetganger 20 feet had meegesleept in San Francisco. Het Department of Justice stelde vast dat het bedrijf een valse rapportage had ingediend bij federale onderzoekers. Californië trok de exploitatievergunning volledig in.
• Tesla krijgt te maken met NHTSA-onderzoeken die 2,9 miljoen voertuigen bestrijken, per 2025. Meer dan 40 afzonderlijke ongevalonderzoeken richten zich op het Full Self-Driving-systeem. Achttien klachten beschrijven voertuigen die door rood licht rijden.
• De wereldwijde kosten van één datalek bedragen nu gemiddeld $4,44 miljoen. Een dodelijk ongeval met een autonoom voertuig duwt de aansprakelijkheid richting tientallen miljoenen aan juridische en operationele schade.

Uw raad van bestuur vraagt zich niet af óf u AI gebruikt. De leden vragen zich af of uw AI geauditeerd, verklaard en verdedigd kan worden voor de rechter. Toezichthouders gaan van vrijwillige zelfevaluatie naar verplichte naleving van normen zoals ISO/PAS 8800 en de EU AI Act. Als uw AI-systeem geen duidelijk beslissingspoor kan opleveren, loopt u bloot — juridisch, financieel en operationeel. Elke dollar die u bespaart door snel een ongeverifieerde AI-laag te implementeren, wordt stroomafwaarts verveelvuldigd in risicoblootstelling.

Wat er echt onder de motorkap gebeurt

De kernfout in deze incidenten noemen ingenieurs "classificatie-oscillatie" — maar u kunt het uzelf zo voorstellen: Denk aan een beveiliger die naar iemand kijkt die naar uw gebouw loopt en niet kan beslissen of het een medewerker is, een bezorger of een vreemde. Elke seconde begint de beveiliger opnieuw met een verse gok. Hij bouwt nooit voort op wat hij eerder zag. Hij volgt het pad van de persoon nooit. Tegen de tijd dat hij besluit in te grijpen, is het te laat.

Dat is wat er gebeurde met de AI van Uber. Het systeem verwerkte elk moment vrijwel onafhankelijk. Het had geen "objectpermanentie" — geen blijvend geheugen dat zei: "Wat dit ook is, het beweegt al vijf seconden naar ons toe."

De Cruise-crash van 2023 liet een andere variant van hetzelfde gat zien. Nadat de robotaxi een voetganger raakte die in zijn baan was geslagen, kon het systeem niet herkennen dat er iemand onder het voertuig beklemd zat. Het classificeerde de botsing als een "zijwaartse aanrijding" in plaats van een frontale overreding. Daardoor werd een geprogrammeerd manoeuvre om langs de weg te stoppen geactiveerd. De auto sleepte het slachtoffer 20 feet mee bij ongeveer 7 mph voordat hij stopte — niet omdat hij een persoon detecteerde, maar omdat hij "overmatige wielslip" registreerde en dat als mechanisch defect behandelde.

Het vision-only-systeem van Tesla voegt daar nog een laag aan toe. Zonder LiDAR of radar vertrouwt het volledig op camera's. Bij omstandigheden zoals zonneschittering op nat asfalt of mist verslechtert het optische signaal tot onder het niveau dat nodig is voor veilige navigatie. Eén fatale crash in 2023 gebeurde precies onder die omstandigheden. Het systeem kon simpelweg niets zien.

Dit zijn geen willekeurige bugs. Het zijn architecturale zwakheden — voorspelbare gevolgen van het bouwen van veiligheidskritieke systemen op waarschijnlijkheid in plaats van bewijs.

Wat werkt (en wat niet)

Drie veelgebruikte benaderingen die telkens weer falen:

• "Meer testen zullen het oplossen." Traditionele black-box-testen controleren of een systeem N scenario's doorstaat. Maar u kunt niet elk randgeval testen op elke weg bij elke weersomstandigheid. Testen vertelt u wat er gebeurd is; het bewijst niet wat er zal gebeuren.
• "Vision-only is goed genoeg." De aanpak van Tesla slaat LiDAR en radar volledig over. De 18+ klachten van NHTSA over het rijden door rood licht en manoeuvres in de verkeerde richting laten de grenzen zien van uitsluitend op camera's vertrouwen — vooral bij slecht zicht.
• "Een menselijke back-up vangt de fouten wel af." De veiligheidsoperator van Uber hield het systeem in de gaten toen het Elaine Herzberg doodde. Onderzoek noemt dit "automatiseringscomplacentie" — mensen vertrouwen de machine en stoppen met opletten. Uw menselijke vangnet verslechtert na verloop van tijd.

Wat écht werkt, is een architectuur in drie stappen gebaseerd op verificatie, niet op hoop:

1. Uniforme 3D-waarneming (invoer): In plaats van elke camerastroom apart te verwerken, transformeert het systeem alle sensorgegevens — camera's, LiDAR, radar — naar één top-down 3D-kaart, een zogenaamde Bird's-Eye-View (BEV). Occupancy Networks — modellen die voorspellen of elk klein ruimtekubusje bezet is — volgen volume, geen labels. Zelfs als de AI niet kan beslissen of een object een voetganger of een fiets is, weet hij dat de ruimte bezet is en dat er iets beweegt. Dit voorkomt rechtstreeks de classificatiewissel waaraan Elaine Herzberg stierf.

2. Formele verificatie (verwerking): Tools die SMT-solvers heten — wiskundige motoren die elke mogelijke invoer van een neuraal netwerk testen — kunnen bewijzen of er een invoer bestaat die een onveilige uitvoer zou veroorzaken. Bijvoorbeeld: "Voor elke invoer bij mistige omstandigheden mag het remcommando nooit onder een minimumdrempel dalen." Als de solver een schending vindt, lossen ingenieurs die op vóór de uitrol op. Dit heet formele verificatie en bewijsautomatisering — en dat is het verschil tussen hopen dat uw AI veilig is en het bewijzen.

3. Deterministische veiligheidsfilters (uitvoer): Een runtime-monitor toetst elk commando dat de AI geeft af aan een geverifieerde veiligheidsbasislijn. Als de AI iets irrationeels probeert — accelereren richting een bezette ruimte, rood licht negeren — dan overrulet de filter het onmiddellijk. Zie het als een mathematisch gegarandeerd veto.

Voor uw compliance- en juridische teams levert deze architectuur iets cruciaals op: een fraudebestendig auditspoor. Elke beslissing die de AI neemt, wordt gelogd in een deterministisch formaat. Wanneer toezichthouders vragen waarom uw systeem deed wat het deed, kunt u hen de wiskunde laten zien — geen black box. Dit is extra belangrijk nu automotieve veiligheidsnormen aanscherpen onder ISO/PAS 8800 en SOTIF (ISO 21448), normen die specifiek ingaan op gevaren van AI-systemen die functioneren zoals ontworpen maar onverwachte omgevingen tegenkomen.

Uw organisatie moet ook overwegen hoe sensorfusie en signaalintelligentie passen in uw bredere AI-strategie. Architecturen met meerdere sensoren verminderen single points of failure — precies de zwakte die de vision-only-aanpak van Tesla blootlegt.

De volledige technische analyse achter deze aanbevelingen is te vinden in de complete technische whitepaper, en u kunt de interactieve versie verkennen voor een begeleide rondleiding langs de faalcases en de oplossingen.