De zelfrijdende auto zag haar 5,6 seconden voor de botsing — en kon nog steeds niet bepalen wat ze was

Ik zat eind 2023 in een vergaderzaal naar een video te kijken die mijn kijk op AI-veiligheid voorgoed zou veranderen. De beelden kwamen van een Cruise-robotaxi in San Francisco. Een voetganger was aangereden door een auto met een menselijke bestuurder, in het pad van het autonome voertuig geslingerd en eronder bekneld geraakt. De robotaxi stopte — kort — en begon vervolgens naar de kant van de weg te rijden, waarbij hij de vrouw 20 voet over het asfalt meesleepte.

De kamer was stil. Iemand uit mijn team zei: "De auto dacht dat hij een zijdelingse aanrijding had gehad." En die zin — de auto dacht — werd de kiem van alles wat we sindsdien bij Veriprajna bouwen.

Want de auto "dacht" helemaal niets. Hij draaide een classificatiesubroutine, kreeg het verkeerde antwoord en voerde een voorgeprogrammeerde manoeuvre uit die een overleefbaar ongeval in iets veel ergers veranderde. Er was geen redenering. Geen besef. Geen veiligheidsarchitectuur die een catastrofale misdiagnose kon onderscheppen voordat die een catastrofe werd.

Dit is de kloof die ik steeds probeer uit te leggen aan investeerders, klanten en collega-engineers: de afstand tussen een AI die goed presteert in demo's en een AI die zich veilig gedraagt wanneer de wereld niet langer meewerkt. Ik ben het de Perception-Logic Gap gaan noemen — de ruimte tussen wat een autonoom systeem ziet en wat het werkelijk begrijpt. En op dit moment kost die kloof mensenlevens.

Wat gebeurde er toen de AI bijna zes seconden had en toch faalde?

Het Uber ATG-ongeval in Tempe, Arizona, in maart 2018 is de zaak waar ik het vaakst op terugkom, omdat het de zuiverste illustratie is van hoe een probabilistisch systeem over alle data kan beschikken die het nodig heeft en toch een fatale fout maakt.

De sensoren van het voertuig registreerden Elaine Herzberg — een voetganger die een fiets over een donkere weg duwde — voor het eerst ongeveer 5,6 seconden voor de botsing. Bij 43 mph is dat ruwweg 378 voet afstand. Meer dan genoeg voor elk competent remsysteem om de auto tot stilstand te brengen.

Maar de AI kon niet beslissen waar hij naar keek. In die 5,6 seconden herclassificeerde het perceptiesysteem Herzberg keer op keer: eerst als een "onbekend object", daarna als een "voertuig", daarna als een "fiets". Elke herclassificatie was niet zomaar een labelwijziging — het was een volledige reset van het voorspelde traject van het object. Het systeem kreeg in wezen geheugenverlies telkens als het van gedachten veranderde.

Ik herinner me dat ik het NTSB-rapport voor het eerst las en er fysiek onpasselijk van werd. Niet vanwege de afloop — hoe verwoestend die ook was — maar vanwege het mechanisme. De AI stelde pas 1,3 seconden voor de botsing vast dat noodremmen nodig was. De natuurkunde maakte de rest onvermijdelijk.

Een AI die een obstakel bijna zes seconden lang kan zien en nog steeds niet kan bepalen wat het is, heeft geen sensorprobleem. Die heeft een architectuurprobleem.

Wat het erger maakte — wat mij eerlijk gezegd kwaad maakte — was de ontdekking dat Uber het fabrieksmatig geïnstalleerde botsingsvermijdingssysteem van de Volvo XC90 bewust had uitgeschakeld. De auto werd door de fabrikant geleverd met Automatic Emergency Braking. Uber zette het uit om te voorkomen wat zij "grillig voertuiggedrag" noemden. Ze wilden een soepelere rit voor hun experimentele software, dus verwijderden ze de enige deterministische veiligheidslaag die een leven had kunnen redden.

Die beslissing achtervolgt deze industrie. Het is de erfzonde van AI-veiligheid behandelen als een afstelprobleem in plaats van als een technische discipline.

Waarom blijft hetzelfde falen zich in verschillende auto's voordoen?

Na het Uber-ongeval verwachtte ik dat de industrie zou leren. Specifiek verwachtte ik dat bedrijven architecturen zouden bouwen waarin een perceptiefout niet kon uitgroeien tot een beslissingsfout. Waarin er harde veiligheidsgrenzen waren die geen enkele experimentele software opzij kon zetten.

In plaats daarvan kregen we Cruise.

Het incident van oktober 2023 in San Francisco verschilde in de details van Uber, maar was identiek in zijn architectuur. Een Nissan met een menselijke bestuurder raakte een voetganger en slingerde haar in het pad van een Cruise-robotaxi. Het Cruise-voertuig raakte haar en stopte. Tot zover werkte het systeem — onvolmaakt, maar binnen de parameters.

Toen kwam de post-impactlogica in actie. De impactdetectie van het systeem was niet fijnmazig genoeg om onderscheid te maken tussen een frontale overrijding en een zijdelingse aanrijding. Het classificeerde de gebeurtenis als een zijdelingse aanrijding. En de voorgeprogrammeerde reactie op een zijdelingse aanrijding was: naar de kant van de weg rijden om het verkeer niet te blokkeren.

De auto reed naar de kant. Met een mens bekneld eronder. Hij sleepte haar 20 voet mee met ongeveer 7 mph voordat hij "excessieve wielslip" detecteerde — wat hij interpreteerde als een mechanisch defect, niet als een persoon.

Ik heb na dat incident een week lang met mijn team gediscussieerd over hoe de juiste responsarchitectuur eruit had moeten zien. Een van onze engineers — briljante man, sterk gericht op formele methoden — bleef volhouden dat het probleem oplosbaar was met betere sensorfusie. "Als het systeem bezettingsdetectie onder het chassis had gehad," zei hij, "had het het geweten."

Hij had gelijk. Maar hij miste ook het punt. Het diepere falen was dat het systeem geen enkel begrip had van onzekerheid over zijn eigen diagnose. Het classificeerde de impact en handelde vervolgens met volle overtuiging naar die classificatie. Er was geen tussenliggende toestand van "ik weet niet zeker wat er net gebeurd is, dus ik moet niets doen tot ik het wel weet." De architectuur liet geen twijfel toe.

Dat is wat ik bedoel als ik het over de Perception-Logic Gap heb. Het gaat niet alleen om beter zien. Het gaat erom te weten wanneer je iets niet weet.

De doofpot was óók de architectuur

Wat er na het sleepincident van Cruise gebeurde, was bijna even onthullend als het incident zelf. Onderzoeken wezen uit dat de topleiding "gefixeerd was op het corrigeren van het onjuiste medianarratief" in plaats van transparant te zijn tegenover toezichthouders. Medewerkers gaven toe dat ze toezichthouders een video van het ongeval hadden getoond, wetende dat internetverbindingsproblemen vaak verhinderden dat het gedeelte met het meeslepen werd afgespeeld.

Cruise betaalde uiteindelijk een strafrechtelijke boete van $500.000 voor het indienen van valse rapporten bij de NHTSA. Hun Californische exploitatievergunning werd ingetrokken.

Ik breng dit niet ter sprake om nog eens op Cruise in te hakken, maar omdat het iets structureels blootlegt over hoe de industrie met veiligheid omgaat. Wanneer je AI-systeem een black box is — wanneer zelfs je eigen engineers niet volledig kunnen uitleggen waarom het op een bepaald moment een bepaalde beslissing nam — wordt de verleiding om het narratief te sturen in plaats van de architectuur te repareren overweldigend.

Transparantie is geen PR-strategie voor autonome voertuigen. Het is een technische vereiste. Als je niet elke beslissing kunt auditen die je AI in een crisis nam, heb je geen veiligheidssysteem — dan heb je een aansprakelijkheid.

Bij Veriprajna hebben we verklaarbare veiligheidsaudits tot een kernonderdeel van ons architectuurwerk gemaakt. Elke beslissing die de AI neemt, met name na een impact, wordt vastgelegd in een deterministisch, manipulatiebestendig formaat dat toezichthouders in realtime kunnen auditen. Niet omdat we deugdzamer zijn dan Cruise — maar omdat we hebben gezien wat er gebeurt als het alternatief "laat de video voor zichzelf spreken" is.

Ik heb over het volledige technische raamwerk achter deze aanpak geschreven in onze interactieve whitepaper, inclusief de specifieke faalmodi die we bij Uber, Cruise, Tesla en Waymo hebben gecatalogiseerd.

Wat betekent Tesla's "vision-only"-gok eigenlijk voor de veiligheid?

Tesla's benadering van autonoom rijden is filosofisch anders dan die van Uber of Cruise, en de fouten zijn ook anders. Maar ze rijmen.

Tesla's Full Self-Driving-systeem vertrouwt volledig op camera's — geen LiDAR, geen radar. Elon Musk noemde LiDAR ooit een "kruk". De gok is dat voldoende geavanceerde neurale netwerken een volledig 3D-begrip van de wereld kunnen reconstrueren uit alleen 2D-beelden, zoals het menselijk zicht dat doet.

Het is een elegant idee. Ik vind het zelfs intellectueel overtuigend. Maar de NHTSA heeft tussen 2024 en 2025 meer dan 40 onderzoeken geopend naar FSD-gerelateerde ongevallen, die 2,9 miljoen voertuigen beslaan, en het patroon is vernietigend.

Achttien afzonderlijke klachten betreffen voertuigen die door rood rijden of de status van verkeerslichten niet detecteren. Meerdere meldingen beschrijven auto's die de rijstrook voor tegemoetkomend verkeer op rijden. Een dodelijke botsing in 2023 vond plaats tijdens zonneschittering op nat asfalt — omstandigheden waarin de optische signaal-ruisverhouding onder het niveau zakt dat welk camerasysteem dan ook betrouwbaar kan interpreteren.

Ik noem dit Capability Theater: het systeem presteert prachtig onder optimale omstandigheden en wekt daarmee een illusie van competentie die aan de randen instort. Zonnige dag, vrije weg, standaardkruising? Vlekkeloos. Lage zonnestand, nat wegdek, ongebruikelijke voetgangersoversteek? Het systeem degradeert niet geleidelijk. Het faalt abrupt.

Het probleem is niet dat vision-only in theorie niet kan werken. Het is dat Tesla het op grote schaal uitrolt zonder wat ik Assurance Gates zou noemen — harde grenzen die voorkomen dat de AI beslissingen met hoge inzet neemt wanneer de betrouwbaarheidsscore van de AI onder een geverifieerde drempel zakt. Als de verzadiging door schittering een bepaald percentage overschrijdt, zou het systeem moeten weigeren te rijden in plaats van harder te gokken.

Hoe bewijs je dat een AI niemand zal doden?

Dit is de vraag die mij 's nachts wakker houdt. Niet metaforisch — letterlijk. Er was vorig jaar een periode waarin ik tot 2 uur 's nachts formele verificatie-experimenten draaide, op zoek naar de grens tussen "genoeg getest" en "bewezen veilig".

Traditioneel softwaretesten is black-box: je laat het systeem N scenario's doorlopen, en als het ze allemaal doorstaat, lever je het uit. Maar autonome voertuigen komen geen N scenario's tegen. Ze komen de hele fysieke wereld tegen, met al haar chaos en randgevallen en mensen die onverklaarbare dingen doen. Geen enkele hoeveelheid scenariotests kan die ruimte afdekken.

Formele verificatie hanteert een andere aanpak. In plaats van te vragen "heeft het systeem deze tests doorstaan?", vraagt ze "bestaat er enige invoer die een onveilige uitvoer zou kunnen opleveren?" Tools zoals Marabou en α,β-CROWN kunnen een neuraal netwerk weergeven als een verzameling wiskundige beperkingen en vervolgens — uitputtend — zoeken naar schendingen.

Een veiligheidseigenschap zou er zo uit kunnen zien: voor elke mogelijke invoer binnen een bereik van "slecht zicht" mag het remcommando nooit onder een minimumdrempel zakken. Als de solver een tegenvoorbeeld vindt — een specifieke invoer die de eigenschap schendt — heb je een kwetsbaarheid geïdentificeerd voordat die iemand het leven kost.

Op een nacht draaiden we verificatie op een perceptiemodel en gaf de solver een tegenvoorbeeld terug dat niemand van ons had verwacht. Een heel specifieke combinatie van lichtinvalshoek en objectafstand waardoor het remvertrouwen naar bijna nul zakte. Het was geen scenario dat iemand van ons had bedacht om te testen. De solver vond het omdat hij niet gokte — hij bewees.

Dat moment maakte iets voor mij glashelder. Testen vraagt "werkt dit?" Verificatie vraagt "kan dit falen?" Dat zijn fundamenteel verschillende vragen, en veiligheidskritische AI vereist de tweede.

Testen vertelt je wat je AI doet. Verificatie vertelt je wat die nooit kan doen. Voor veiligheidskritische systemen telt alleen de tweede vraag.

Het addertje is dat huidige neurale netwerken enorm zijn — miljoenen parameters — en dat uitputtende verificatie van grote netwerken rekentechnisch onhaalbaar is. Wij pakken dit aan met neuron pruning: het systematisch verwijderen van overbodige neuronen die niet bijdragen aan de nauwkeurigheid, maar het netwerk te complex maken om te verifiëren. Het resultaat is een slanker model dat zowel performant als wiskundig bewijsbaar is.

Voor de volledige technische uiteenzetting van onze verificatiepijplijn — inclusief de SMT-solver-methodologie en de pruning-aanpak — zie ons gedetailleerde onderzoeksartikel.

Wanneer het probleem niet de AI is — maar de wereld

Waymo heeft meer dan 56 miljoen mijl afgelegd en heeft aanzienlijk lagere letselcijfers dan menselijke bestuurders. Volgens de meeste maatstaven zijn ze de koploper in de industrie. En toch heeft Waymo een faalmodus blootgelegd waarop niemand in de autonome-voertuigindustrie was voorbereid: de wereld zelf die weigert mee te werken.

Tijdens een stroomstoring in Los Angeles in 2025 kwamen tientallen Waymo-robotaxi's vast te zitten bij verduisterde kruispunten. De voertuigen waren geprogrammeerd om uitgevallen verkeerslichten te behandelen als een vierwegstop — de juridisch juiste reactie. Maar wanneer tientallen autonome voertuigen allemaal bij hetzelfde uitgevallen kruispunt aankomen, elk beleefd wachtend op zijn beurt, en elk tegelijkertijd om menselijke hulp op afstand vraagt, krijg je iets wat ik de Independence Trap ben gaan noemen: elk voertuig gedraagt zich op zichzelf correct, terwijl ze samen een verkeersinfarct veroorzaken dat geen enkel voertuig alleen kan oplossen.

Het centrum voor hulp op afstand werd overspoeld. Robotaxi's blokkeerden andere robotaxi's. Het systeem dat perfect werkte met één auto op één kruispunt, stortte in zodra het werd opgeschaald naar een vloot in een stadsbrede noodsituatie.

En dan is er nog het probleem waar niemand publiekelijk over wil praten. Tijdens burgerlijke onrust in Los Angeles begin 2025 vielen menigten Waymo-voertuigen aan — banden werden lekgestoken, ruiten ingeslagen, auto's in brand gestoken. De voertuigen, geprogrammeerd voor "passieve veiligheid", stopten simpelweg zodra ze door mensen werden omringd. Wat precies de verkeerde reactie is wanneer de mensen die je omringen het voertuig met passagiers erin proberen te vernietigen.

Dit heeft geleid tot serieuze discussies over wat sommige onderzoekers een "Danger Escape Mode" noemen — het vermogen van een autonoom voertuig om kleine verkeersovertredingen te begaan (over een stoeprand rijden, door rood rijden) om zijn passagiers tegen geweld te beschermen. Dat vereist een fundamentele herziening van de ethische hiërarchie van de AI, en het is een probleem dat geen enkele hoeveelheid betere sensoren of snellere processors kan oplossen.

Ik bracht dit ter sprake tijdens een bespreking met een potentiële klant, en iemand zei: "Kun je niet gewoon GPT gebruiken om zulke randgevallen af te handelen?" Ik denk dat mijn gezichtsuitdrukking meer zei dan mijn woorden. Dit is een probleem van beslissingsarchitectuur dat formeel ethisch redeneren vereist, geen chatbot.

Waarom is testen alleen niet genoeg voor veiligheid?

Mensen vragen me dit voortdurend. "Als Waymo 56 miljoen mijl aan data heeft, is dat toch genoeg getest?"

Nee. En de reden is wiskundig, niet filosofisch.

De ruimte van mogelijke rijscenario's is in feite oneindig. Je kunt 56 miljoen mijl rijden en nooit de specifieke combinatie tegenkomen van zonneschittering, nat asfalt en een ongebruikelijk geklede voetganger die je perceptiesysteem doet falen. Randgevallen zijn geen zeldzame varianten van veelvoorkomende scenario's — het zijn scenario's die bestaan in de gaten tussen alles wat je al hebt gezien.

Daarom verschuift het regelgevingslandschap van "laat ons je testresultaten zien" naar "laat ons je veiligheidsbewijzen zien". ISO 21448, bekend als SOTIF — Safety of the Intended Functionality — is specifiek ontworpen om gevaren aan te pakken die optreden wanneer de AI precies werkt zoals geprogrammeerd, maar een omgeving tegenkomt die hij niet aankan. Het gaat niet om falende hardware. Het gaat om de inherente beperkingen van de AI die de echte wereld ontmoeten.

En ISO/PAS 8800, die eind 2024 de belangrijkste standaard werd voor AI in wegvoertuigen, gaat verder: die vereist het beheer van de volledige AI-levenscyclus, van dataverwerving tot monitoring na uitrol. Het tijdperk van "lever het op en zie wel wat er gebeurt" loopt ten einde, althans voor bedrijven die legaal willen opereren in de EU, de VS en de grote Aziatische markten.

Bij Veriprajna richten we ons werk zo in dat we klanten naar het "Known/Safe"-kwadrant brengen, zoals SOTIF dat noemt — door systematisch triggerende condities te identificeren, omgevingstoestanden in kaart te brengen die perceptiefouten veroorzaken, en high-fidelity simulatie te gebruiken om randgevallen te injecteren die te gevaarlijk zouden zijn om op echte wegen te testen.

Het echte verschil tussen een wrapper en een oplossing

Ik heb de afgelopen jaren de AI-industrie in twee kampen zien uiteenvallen, en die scheiding wordt steeds groter.

Aan de ene kant heb je de wrapper-economie — bedrijven die conversationele interfaces bovenop grote taalmodellen bouwen, geoptimaliseerd voor uitrolsnelheid en gebruikerservaring. Een deel van dat werk is oprecht nuttig. Het meeste ervan is irrelevant voor veiligheidskritische toepassingen.

Aan de andere kant heb je wat ik deep AI engineering noem: de integratie van formele verificatie, sensorfusie-veerkracht en deterministische veiligheidsarchitecturen. Het is trager. Het is moeilijker. Het is minder indrukwekkend in demo's. En het is de enige aanpak die contact met de fysieke wereld overleeft.

Het technische middelpunt van deze verschuiving is Bird's-Eye-View-perceptie met Occupancy Networks. In plaats van afzonderlijke camerabeelden te verwerken en te proberen ze aan elkaar te plakken — een proces dat bij elke naad data verliest — zet BEV-perceptie multi-view camera- en LiDAR-data om in een uniform 3D-raster dat van bovenaf wordt bekeken. En in plaats van te vragen "wat is dit object?", vragen occupancy networks "is deze ruimte bezet?"

Dat onderscheid doet er enorm toe. Als het Uber ATG-systeem bezette ruimte had gevolgd in plaats van te proberen objecten te classificeren, had het niet uitgemaakt of het systeem dacht dat Herzberg een voetganger, een fiets of een onbekend object was. De ruimte was bezet. De ruimte lag in het pad van het voertuig. Remmen.

Evenzo, als het Cruise-voertuig bezettingsdetectie onder zijn chassis had gedraaid, had het geweten dat er iets onder de auto lag, ongeacht hoe het de impact classificeerde. De bezette ruimte zou voorrang hebben gehad op de manoeuvre naar de kant.

De vraag is niet "wat is dit object?" — de vraag is "is deze ruimte bezet?" Die ene herformulering had de twee beruchtste rampen met autonome voertuigen van het afgelopen decennium kunnen voorkomen.

We gebruiken Transformer-architecturen — dezelfde fundamentele technologie achter GPT — maar niet voor conversatie. We gebruiken ze als ruimtelijke-redeneermachines die heterogene sensordata samensmelten tot wat wij een Shared Canvas noemen. Temporele self-attention stelt het systeem in staat te onthouden waar een object was, zelfs tijdens tijdelijke occlusies — een voetganger die achter een geparkeerde vrachtwagen loopt, verdwijnt niet uit het bewustzijn van het model alleen omdat de camera's haar twee seconden niet kunnen zien.

De les van $8,5 miljoen

De schikking van Uber ATG bedroeg $8,5 miljoen. De strafrechtelijke boete van Cruise was $500.000 — een getal dat de operationele stillegging, de reputatieschade en het menselijk leed bij lange na niet dekt. Het NHTSA-onderzoek naar Tesla betreft 2,9 miljoen voertuigen. De wereldwijde gemiddelde kosten van één enkel datalek bedragen inmiddels $4,44 miljoen.

Als ik deze cijfers optel, is de conclusie ongemakkelijk voor het "move fast and break things"-kamp: de goedkope AI-wrapper is de duurste fout die een onderneming kan maken. Niet omdat hij niet werkt — hij werkt prima in gecontroleerde omgevingen. Maar op het moment dat hij de ongecontroleerde wereld tegenkomt — de donkere weg, de verwarring na de impact, de zonneschittering op nat asfalt, de woedende menigte — verandert het ontbreken van een deterministische veiligheidsarchitectuur een softwarebeperking in een menselijke catastrofe.

Mensen brengen soms tegen onze aanpak in dat formele verificatie te traag, te duur en te academisch is voor uitroltermijnen in de echte wereld. Ik begrijp het bezwaar. Verificatie is rekentechnisch duur. Netwerken prunen om ze verifieerbaar te maken kost tijd. Veiligheidsarchitecturen bouwen met harde assurance gates is meer werk dan een API omwikkelen.

Maar ik zou die mensen vragen om de video van het Cruise-sleepincident te bekijken. Om het NTSB-rapport over de dood van Elaine Herzberg te lezen. Om te kijken naar de 18 klachten over het door rood rijden in het Tesla FSD-onderzoek. En dan tegen mij te zeggen dat "te traag" een geldige kritiek is op een aanpak die precies is ontworpen om die uitkomsten te voorkomen.

Het tijdperk van autonome systemen bouwen op probabilistische hoop loopt ten einde. Niet omdat toezichthouders het afdwingen — hoewel ze dat doen — maar omdat de natuurkunde van de echte wereld het eist. Een AI-systeem dat duizend kruispunten perfect navigeert en dan bij het duizend-en-eerste door rood rijdt, is niet 99,9% veilig. Het is onveilig, punt. Veiligheid is geen percentage. Het is een eigenschap — een die ofwel onder alle geverifieerde omstandigheden standhoudt, ofwel helemaal niet standhoudt.

Dat is de verschuiving waar ik Veriprajna omheen bouw. Geen betere wrappers. Geen snellere demo's. Deterministische zekerheid voor systemen waar falen geen bugrapport is — maar een dodental.