Een strategisch kader voor veiligheidskritische kunstmatige intelligentie
De schikking van $ 8,5M van Uber, de schorsing van GM Cruise en meer dan 40 Tesla-onderzoeken zijn geen redenen om AI op te geven. Het zijn redenen om het correct te ontwerpen. Deze whitepaper ontleedt de architectonische fouten en toont het pad naar verifieerbare, hoogwaardige autonomie.
Aan de ene kant: snelle LLM-wrappers die conversatievloeiendheid prioriteren. Aan de andere kant: rigoureuze Deep AI-engineering met formele verificatie en deterministische veiligheid. Naarmate autonome systemen de fysieke wereld betreden, wordt dit onderscheid een kwestie van leven en dood.
Vier spraakmakende incidenten die de systemische kwetsbaarheid van stochastische AI in veiligheidskritische implementaties blootleggen.
Tempe, Arizona • Maart 2018 • Fataal
Het Uber ATG-systeem detecteerde Elaine Herzberg voor het eerst 5,6 seconden voor de impact op 378 voet afstand. Dit was meer dan voldoende tijd voor een standaard noodstop. Maar de perceptielogica van het systeem leed aan classificatie-oscillatie — waarbij de voetganger herhaaldelijk werd geherclassificeerd als «onbekend object», vervolgens «voertuig», en daarna «fiets».
Elke herclassificatie resette het voorspelde traject van het object. Het systeem kon zich niet vastleggen op een persistente identiteit, kon geen betrouwbaar pad berekenen en bepaalde pas 1,3 seconde voor de impact — toen de wetten van de fysica een botsing onvermijdelijk maakten — dat een noodstop noodzakelijk was.
Uber had het fabrieks-AEB- en botsingsvermijdingssysteem van de Volvo XC90 uitgeschakeld om «onvoorspelbaar voertuiggedrag» te voorkomen. Ze vervingen geverifieerde, deterministische veiligheidslagen door experimentele, niet-geverifieerde stochastische code.
| Gefaald onderdeel | Technisch mechanisme |
|---|---|
| Perceptiepijplijn | Classificatie-oscillatie (Onbekend → Voertuig → Fiets) |
| Logica-onderdrukking | Handmatige deactivatie van fabrieks-AEB |
| HMI-interface | Overmatig vertrouwen op een afgeleide menselijke toezichthouder |
| Voorspellingsengine | Statische trajectveronderstelling voor dynamische actoren |
Elke herclassificatie vernietigde de trajectvoorspelling van het object, wat tijdig ingrijpen verhinderde.
San Francisco • Oktober 2023 • Vergunning ingetrokken
Een door een mens bestuurde auto raakte een voetganger, waardoor deze in het pad van een Cruise-robotaxi werd geslingerd. De Cruise-auto raakte de voetganger en stopte aanvankelijk. Maar de botsingsdetectielogica van het systeem was onvoldoende granulair — het diagnosticeerde een frontale overrijding ten onrechte als een zijdelingse botsing.
Deze verkeerde diagnose leidde tot een «Minimal Risk Condition» (MRC)-manoeuvre: aan de kant van de weg gaan staan. Omdat de perceptielaag de voetganger na de impact «vergeten» was , sleepte het voertuig het slachtoffer 20 voet mee met 7 mph. Het stopte pas toen het «overmatige wielslip» detecteerde — wat het interpreteerde als een mechanisch defect in plaats van een menselijk obstakel.
Het daaropvolgende onderzoek wees uit dat de leiding «gefixeerd was op het corrigeren van het onjuiste mediaverhaal» en niet transparant was naar toezichthouders. De strafrechtelijke boete van $ 500.000 voor het indienen van valse rapporten benadrukt dat AI-veiligheid niet kan worden behandeld als een marketingprobleem.
«Medewerkers gaven toe 'de video voor zich te laten spreken' tijdens bijeenkomsten met het DMV, wetende dat verbindingsproblemen er vaak voor zorgden dat het gedeelte met het meeslepen niet werd afgespeeld.»
Landelijk • 2024-2025 • 40+ NHTSA-onderzoeken
Het Full Self-Driving (FSD)-systeem van Tesla vertoont «Bekwaamheidstheater» (Capability Theater) — optimale prestaties in heldere omstandigheden die instorten bij omgevingsrandgevallen. De NHTSA heeft meer dan 40 onderzoeken geopend naar specifieke, herhaalbare storingspatronen.
Tesla's afhankelijkheid van een architectuur die uitsluitend op visie is gebaseerd — zonder LiDAR en radar — creëert een fundamentele kwetsbaarheid voor sensorverzadiging. Bij mist, stof of felle zon op nat asfalt daalt de optische signaal-ruisverhouding onder veilige navigatiedrempels. Een dodelijk ongeval in 2023 vond onder exact deze omstandigheden plaats.
| Storingsmodus | Technische oorzaak |
|---|---|
| Negeren van rood licht | Detectiefout van signaalstatus in visiestack |
| Schending van rijstrookmarkering | Kan voorsorteerstroken niet onderscheiden van doorgaande rijstroken |
| Botsing bij slecht zicht | Optische sensorverzadiging (schittering/mist/stof) |
| Rijden op tegengestelde rijstrook | Fout in reconstructie van 3D-rijstrookgeometrie |
Deep AI-engineering vereist sensordiversiteit. Een hardwarebeperking kan niet met software worden gepatcht.
Los Angeles / San Francisco • 2025 • Nieuwe uitdagingen
Waymo heeft meer dan 56 miljoen mijl geregistreerd met aanzienlijk lagere letselpercentages dan menselijke bestuurders. Maar naarmate het systeem schaalt, ontstaat een nieuwe categorie van falen: sociotechnische wrijving — niet alleen hoe de AI rijdt, maar hoe deze omgaat met complexe, vaak vijandige menselijke sociale omgevingen.
Tijdens een stroomuitval kwamen tientallen Waymo-robotaxi's vast te zitten op donkere kruispunten. Geprogrammeerd om uitgevallen verkeerslichten als gelijkwaardige viersprong-stops te behandelen, raakten ze overweldigd door geconcentreerde verzoeken om hulp op afstand. Robotaxi's die andere robotaxi's blokkeerden — een «multi-agent impasse» — die de centrale meldkamer niet kon oplossen.
Begin 2025 werden Waymo-voertuigen aangevallen door menigten tijdens onrust in LA — banden lek gestoken, voertuigen in brand gestoken. Geprogrammeerd voor «passieve veiligheid», stopten ze simpelweg toen ze omsingeld raakten. Dit legde de noodzaak bloot van een «Gevaar-ontsnappingsmodus» (Danger Escape Mode) die kan overschakelen van passieve naleving naar actieve ontsnapping zonder ooit geprogrammeerd te zijn om schade te veroorzaken.
Deze incidenten benadrukken de «onafhankelijkheidsvalkuil» — de aanname dat een autonoom voertuig veilig kan opereren als solitaire agent. Deep AI moet rekening houden met V2V- (voertuig-naar-voertuig) en V2I- (voertuig-naar-infrastructuur) protocollen die het oplossen van impasses op vlootniveau mogelijk maken.
Elk bovenstaand falen komt voort uit dezelfde bron: de kloof tussen wat de AI waarneemt en wat deze logischerwijs zou moeten concluderen. Pas de betrouwbaarheidsdrempel aan om te zien hoe deterministische poorten catastrofale beslissingen voorkomen.
Perceptiebetrouwbaarheid ligt onder de deterministische veiligheidsdrempel. Een stochastisch systeem zou doorgaan; de Assurance Gate van Veriprajna triggert een storingsveilige overgang.
Veriprajna's Assurance Gate: Als enige veiligheidsinput onder de geverifieerde drempel daalt, schakelt het systeem over naar een Minimal Risk Condition — niet gebaseerd op waarschijnlijkheid, maar op een wiskundig bewijs dat de uitkomst niet gegarandeerd veilig kan zijn.
Het architectonische antwoord op classificatie-oscillatie, blindheid na impact en sensorverzadiging.
Bezettingsnetwerken volgen volume, geen labels. Het systeem weet dat een ruimte bezet is, zelfs als het niet kan beslissen of het object een voetganger of een fiets is. Dit elimineert de classificatieswitch van Uber ATG.
Bezettingsnetwerken leggen verticale structuren en objecten onder het chassis vast die 2D BEV-kaarten negeren. Dit zou het Cruise-voertuig in staat hebben gesteld om de voetganger eronder te «zien» tijdens de manoeuvre na de botsing.
Met behulp van BEVFormer-architecturen met temporele zelfaandacht, onthoudt het systeem waar een object was, zelfs tijdens tijdelijke occlusies — een voetganger die achter een geparkeerde vrachtwagen loopt blijft gevolgd worden.
Geünificeerde BEV-fusiearchitectuur
De Transformer-architectuur dient niet als conversatietool, maar als een ruimtelijke redeneerengine die heterogene sensorgegevens samenvoegt tot één gedeeld canvas voor navigatie.
Traditioneel testen vraagt: «Slaagt het voor N tests?» Formele verificatie vraagt: «Bestaat er enige invoer die leidt tot een onveilige uitvoer?» Het verschil is de kloof tussen hoop en bewijs.
Als een SMT-solver een tegenvoorbeeldvindt, heeft deze een specifieke verstoring geïdentificeerd die de AI zou laten falen — waardoor het model tijdens de training kan worden «gehard».
Grote netwerken zijn te complex voor uitputtende solver-analyse. Veriprajna pakt dit aan via Neuron Pruning (neuronen snoeien) — het verwijderen van redundante neuronen en niet-lineariteiten die niet bijdragen aan de nauwkeurigheid, waardoor een model ontstaat dat wiskundig eenvoudiger te verifiëren is zonder prestatieverlies.
| Techniek | Methodologie | Voordeel |
|---|---|---|
| Grens-aanscherping | Symbolische analyse van neuronactivatiebereiken | Verkleint de zoekruimte van de SMT-solver |
| Bereikbaarheidsanalyse | Berekenen van alle bereikbare uitkomsten voor een invoerset | Garandeert dat AI binnen het «Veilige Polytoop» blijft |
| Stuksgewijs lineaire approx. | Complexe activaties vervangen door ReLU-segmenten | Deugdelijke en volledige bewijzen |
| Formeel veiligheidsfilter | Runtime monitoring tegen geverifieerde baseline | «Veilig herstel» als AI zich irrationeel gedraagt |
ISO 21448 (SOTIF) vult het gat dat ISO 26262 niet kan dichten: gevaren die optreden wanneer het systeem exact werkt zoals geprogrammeerd maar een «Onbekende/Onveilige» omgeving tegenkomt.
Doel van Veriprajna: het Bekend/Veilig-kwadrant maximaliseren en tegelijkertijd Onbekend/Onveilig-scenario's systematisch verminderen.
Geverifieerde ODD. Getest en bewezen veilig onder gedocumenteerde omstandigheden.
Geïdentificeerde randgevallen met storingsveilige overgangen.
Nog niet geteste scenario's maar inherent laag risico.
Niet-geïdentificeerde gevaren — de bron van alle grote AV-storingen.
Behandelt hardware-/softwarecomponentstoringen (sensordefect, chipkortsluiting). Noodzakelijk maar onvoldoende voor AI-specifieke risico's.
Veiligheid van de beoogde functionaliteit. Behandelt gevaren wanneer AI werkt zoals geprogrammeerd maar nieuwe omgevingen tegenkomt.
De eerste wereldwijde norm voor het beheer van de volledige AI-levenscyclus in de automotive — van dataverzameling tot monitoring na implementatie.
Drie technische pijlers die elk systemisch storingspatroon uit deze analyse direct aanpakken.
Klanten migreren van per-camera 2D-perceptie naar Transformer-gebaseerde BEV-bezettingsnetwerken — voor gegarandeerde objectpermanentie en trackingstabiliteit, zelfs bij occlusies, herclassificaties en sensorverzadiging.
Implementatie van SMT-gebaseerde formele verificatie om wiskundig te bewijzen dat AI-gestuurde controle-architecturen nooit fundamentele veiligheidseigenschappen schenden — niet slechts testen, maar bewijs van correctheid leveren.
Ontwikkeling van geavanceerde «Ontsnappingsmodi» en V2X-communicatiekaders om de realiteit van burgerlijke onrust, multi-agent impasses en infrastructuurfalen te beheersen — waar passieve naleving gevaarlijk wordt.
«Het tijdperk van stochastische AI loopt ten einde. De 'goedkope' wrapper wordt de duurste fout die een onderneming kan maken wanneer de kosten van een enkel fataal ongeval in de tientallen miljoenen lopen. Het tijdperk van Deep AI Engineering is aangebroken.»
— Strategisch kader van Veriprajna
Het Uber ATG-systeem detecteerde Elaine Herzberg 5,6 seconden voor de botsing op 378 voet afstand — meer dan voldoende tijd voor een noodstop. Echter, classificatie-oscillatie herclassificeerde de voetganger herhaaldelijk als «onbekend object», daarna «voertuig», daarna «fiets», waarbij elke herclassificatie de trajectvoorspelling resette. Een noodstop werd pas 1,3 seconde voor de botsing noodzakelijk geacht — toen de fysica een botsing onvermijdelijk maakte. Uber had ook het fabrieks-AEB van Volvo uitgeschakeld. BEV-bezettingsnetwerken lossen dit op door volume te volgen in plaats van labels — het systeem weet dat de ruimte bezet is, ongeacht de classificatie.
Traditioneel testen vraagt: «Slaagt het voor N tests?» Formele verificatie vraagt: «Bestaat er enige invoer die leidt tot een onveilige uitvoer?» Met behulp van SMT-solvers zoals Marabou en alpha-beta-CROWN bewijst het systeem wiskundig veiligheidseigenschappen — bijvoorbeeld dat voor alle invoer in «Laag zicht» de remrespons van de AI altijd de minimumdrempel overschrijdt. Als er een tegenvoorbeeld bestaat, identificeert de solver de specifieke verstoring, waardoor het model tijdens de training kan worden gehard.
ISO 26262 behandelt storingen van hardware-/softwarecomponenten (sensordefect, chipkortsluiting), maar is ontoereikend voor AI-specifieke risico's. ISO 21448 (SOTIF) behandelt gevaren wanneer de AI exact werkt zoals geprogrammeerd maar nieuwe omgevingen tegenkomt — de «Onbekende/Onveilige» scenario's die elk groot AV-falen veroorzaakten. Het vereist gevaren- en risicoanalyses voor perceptiefouten, identificatie van activeringsvoorwaarden en high-fidelity simulaties voor gevaarlijke randgevallen. Het doel van Veriprajna is het maximaliseren van het Bekend/Veilig-kwadrant terwijl Onbekend/Onveilig-scenario's systematisch worden verminderd.
Veriprajna biedt de diepgaande engineering-expertise om AI te bouwen die niet alleen in het lab werkt — maar standhoudt in de echte wereld.
Werk met ons samen om verifieerbare, hoogwaardige autonomie te ontwerpen voor uw veiligheidskritische systemen.
Volledige strategische analyse: storingsmodi van Uber ATG, GM Cruise, Tesla FSD en Waymo. BEV-architectuur, formele verificatie, ISO-nalevingskader en het pad naar deterministische zekerheid.