Het kale hoofd dat onze AI brak (en wat het me leerde over werkende vision-systemen bouwen)

In oktober 2020 werd een Schotse voetbalwedstrijd tussen Inverness Caledonian Thistle en Ayr United het meest leerzame AI-fiasco dat ik ooit heb bestudeerd. Een geautomatiseerd camerasysteem, gebouwd om de bal te volgen en de wedstrijd uit te zenden zonder menselijke operator, bracht de hele wedstrijd door met het liefdevol volgen van het kale hoofd van een grensrechter langs de zijlijn. Thuissupporters misten elk doelpunt. Het internet ging helemaal los.

Ik lachte eerst ook. Toen verging het lachen me, omdat ik me realiseerde dat mijn team systemen bouwde met exact dezelfde blinde vlek.

De AI van de camera had volgens haar eigen logica haar werk vlekkeloos gedaan. Ze vond onder de stadionverlichting een rond, lichtgekleurd object en kende daaraan een betrouwbaarheidsscore van 98% toe voor 'bal'. De daadwerkelijke bal – die snel bewoog, door schaduwen schoot en af en toe werd afgeschermd door spelers – scoorde rond de 80%. Het systeem volgde de wiskunde. De wiskunde stond los van de werkelijkheid. Die kloof tussen het detecteren van een patroon en begrijpen waar je naar kijkt, is waar ik de afgelopen jaren van mijn leven aan heb gewijd, en het is de reden waarom ik bij Veriprajna ben begonnen met het bouwen van fysicagestuurde vision-systemen.

Wat ziet een AI als hij naar de wereld kijkt?

De meeste computer vision-systemen verwerken beelden zoals een uiterst zelfverzekerde peuter dieren identificeert in de dierentuin. Rond en glanzend? Bal. Vier poten? Hond. De vergelijking is geen grap – moderne Convolutional Neural Networks (CNN's) ontleden beelden in texturen, randen en vormen, en koppelen die kenmerken vervolgens aan patronen die zijn geleerd uit trainingsdata. Het zijn in de kern machines voor textuurherkenning.

Onder gecontroleerde omstandigheden werkt dit verbazingwekkend goed. Het stort in elkaar zodra de fysieke wereld zich daadwerkelijk fysiek gaat gedragen.

Objectdetectie is geen objectbegrip. Een systeem dat een rond ding ziet en het een bal noemt, heeft een textuur geïdentificeerd. Een systeem dat die identificatie verwerpt omdat de 'bal' al drie minuten stilhangt op 1,70 meter hoogte – dat systeem begrijpt iets.

De camera in Inverness kon een hoofd niet van een bal onderscheiden omdat hij geen enkel benul had van wat een bal doet. Een voetbal volgt een kogelbaan. Hij versnelt bij impact. Hij haalt snelheden tot wel 130 km/u. Hij kan niet vastzitten aan een menselijk bovenlichaam dat in wandeltempo beweegt. Dit zijn geen exotische inzichten – elk kind dat naar de wedstrijd keek, wist dit. Maar de AI werkte via wat de computer vision-gemeenschap 'frame-onafhankelijke inferentie' noemt: het verwerken van elk beeld als een geïsoleerde momentopname zonder herinnering aan wat eraan voorafging en zonder verwachting van wat er zou volgen.

De nacht waarin ik besefte dat we met hetzelfde probleem kampten

Ik zou willen dat ik kon zeggen dat ik tot fysicagestuurde vision kwam door een elegant theoretisch inzicht. De waarheid is een stuk prozaïscher. We bouwden een defectinspectiesysteem voor een klant in de halfgeleiderindustrie, en ons model markeerde stofdeeltjes voortdurend als circuitdefecten. Niet af en toe – aan de lopende band. Het percentage valse positieven ondermijnde het vertrouwen van het productieteam in het systeem volledig, en ze hadden groot gelijk dat ze het wantrouwden.

Ik herinner me dat ik om 2 uur 's nachts woedend naar de resultaten zat te staren, want ons model was volgens elke benchmarkmetriek die we bijhielden accuraat. Op standaard testdata identificeerde het defecten in meer dan 90% van de gevallen correct. Maar de productieomgeving was geen standaard testdata. Er dwarrelde stof op de wafers. De belichting verschilde tussen inspectiestations. Het model zag een donkere vlek en noemde het een defect, net zoals de camera in Inverness een ronde vorm zag en het een bal noemde.

Mijn CTO en ik hebben een week lang gediscussieerd over de oplossing. Hij wilde meer trainingsdata. Ik wilde de architectuur wijzigen. De discussie eindigde toen ik een eenvoudige vraag stelde: 'Weet ons model dat een stofdeeltje en een circuitdefect zich anders gedragen onder beeldvorming vanuit meerdere hoeken?' Dat wist het niet. Een echt defect – een fysieke put of kras in silicium – verschuift op voorspelbare wijze van positie wanneer je het vanuit verschillende hoeken fotografeert: parallax. Een stofdeeltje dat op het oppervlak ligt, gedraagt zich heel anders. We vroegen een textuurmatcher om het werk van een fysicus te doen.

Dat was het omslagpunt. We stopten met proberen het neurale netwerk slimmer te maken en begonnen het te dwingen de wetten van de fysica te gehoorzamen.

De demo die ontspoorde

Drie maanden na de koerswijziging in de halfgeleiders zat ik in een vergaderruimte om onze nieuwe aanpak te pitchen voor een logistiek bedrijf. Vijftien man aan hun kant van de tafel. Ik had een live demo gebouwd die liet zien hoe onze fysicagestuurde tracker een pakket door een gesimuleerd magazijn volgde, de positie voorspelde tijdens obstructies en valse detecties verwierp.

De demo begon vlekkeloos. Toen ging iemands telefoon over, en een lichtflits van het scherm raakte onze camera in exact de verkeerde hoek. De tracker haperde. Het selectiekader sprong naar een plafondlamp en bleef daar drie tergende seconden hangen voordat de fysicalaag het corrigeerde.

Ik stond daar en zag mijn eigen software falen op exact de manier waarvan ik maandenlang had beweerd dat het niet kon. De zaal viel stil. Ik wilde dat de grond onder mijn voeten wegzakte.

De fysicalaag herstelde zich. Dat was de clou. Maar in die drie seconden begreep ik iets wat geen enkele benchmark me ooit had geleerd: in productie draait vertrouwen niet om gemiddelde accuratesse. Het draait om wat er gebeurt in het allerslechtste frame.

Ik sprak dat hardop uit, half tegen de zaal en half tegen mezelf: 'Een generiek systeem zou die plafondlamp nu nog steeds volgen. Het onze heeft gecorrigeerd. Dat herstelvermogen is het product.' De CTO aan de overkant knikte langzaam. Twee weken later tekenden ze. Maar die nacht ging ik naar huis en herschreef onze logica voor de betrouwbaarheidsweergave, zodat het systeem zijn onzekerheid in realtime zou tonen – omdat ik nooit meer voor een klant wilde staan en doen alsof wiskunde toverkunst was.

Waarom falen AI-systemen met 90% accuratesse in productie?

Er is een valkuil die ik inmiddels het '90%-probleem' noem, en ik zie het ene na het andere bedrijf erin trappen. Generieke computer vision-API's – het soort dat je in een middag bij elke grote cloudprovider opzet – brengen je snel en goedkoop naar 90% accuratesse. In een demo ogen ze magisch. De bedrijfswaarde zit echter volledig in die laatste 10%.

In die laatste 10% bevinden zich de kale hoofden. De schaduwen die voor een autonoom voertuig op muren lijken en spookremacties op de snelweg veroorzaken. Het moment waarop de hand van een klant een artikel aan het zicht onttrekt in een kassaloze winkel. Dat zeldzame halfgeleiderdefect dat er identiek uitziet als een onschadelijk stofdeeltje van 2 nanometer.

In de productie van halfgeleiders kan een verbetering van de defectdetectie met slechts 1% leiden tot een rendementsstijging van 5-10%, wat jaarlijks miljoenen bespaart. Bij autonome voertuigen hebben Tesla-eigenaren melding gemaakt van wijdverbreide spookremincidenten waarbij vision-systemen schaduwen en viaducten aanzagen voor obstakels. Dit zijn geen theoretische risico's. Het zijn productiefouten die nu op grote schaal plaatsvinden in allerlei sectoren, omdat de onderliggende AI geen enkele fysieke intuïtie bezit. Ons werk overbrugt die kloof van 90% naar 99,99% door de fysicalaag toe te voegen die generieke API's missen.

Hoe we onze systemen leerden denken als fysici

Het kernidee is bedrieglijk eenvoudig: behandel de uitvoer van een neuraal netwerk niet als een vaststaand feit, maar als een ruizige meting die moet worden gevalideerd aan de hand van de fysica. Ik heb uitgebreid geschreven over de volledige technische architectuur in de interactieve versie van ons onderzoek, maar de intuïtie is belangrijker dan de wiskunde.

Stel je voor dat je een voetbal volgt. Je camera meldt dat de bal op het middenveld is en met 20 meter per seconde naar het oosten beweegt. Een veertigste van een seconde later beweert je camera dat de 'bal' zich nu op 15 meter afstand bevindt, aan de zijlijn, bewegend in wandeltempo. Een Kalman-filter – een wiskundig kader dat een continu bijgewerkte schatting bijhoudt van waar een object is, hoe snel het beweegt en hoe zeker het van beide is – zou die tweede meting direct verwerpen. De geïmpliceerde versnelling is voor een voetbal fysiek onmogelijk. Het systeem berekent de zogeheten Mahalanobis-afstand – in wezen het aantal standaarddeviaties dat de nieuwe meting afwijkt van de voorspelling. Als deze de 3 sigma's overschrijdt, wordt de detectie direct verworpen, ongeacht hoe zeker het neurale netwerk is over die pixels.

Dit is wat ik bedoel met fysicagestuurde vision. Het neurale netwerk stelt voor. De fysica beschikt.

We plaatsen meerdere validatiepoorten achter elkaar bij elke detectie. Een kinematische poort controleert of het object zich fysiek wel kan bevinden waar het netwerk zegt dat het is. Een optical flow-poort verifieert of de pixelbeweging binnen het selectiekader overeenkomt met wat je zou verwachten van een echt bewegend voorwerp – een stilstaande grensrechter genereert nagenoeg nul flow, terwijl een bal in vlucht een kenmerkend patroon oplevert. Een geometrische poort controleert of de schijnbare grootte van het object consistent is met het 3D-perspectief op de geclaimde afstand tot de camera.

Elke detectie die voor ook maar één poort zakt, wordt verworpen. Zonder uitzonderingen, zonder overrides.

Wat gebeurt er als het object verdwijnt?

Generieke systemen raken in paniek. De betrouwbaarheidsscore keldert naar nul. De tracker verklaart het object 'verloren' en bevriest of reset. In de fysieke wereld is dat absurd. Een bal die met 20 meter per seconde beweegt, houdt niet op te bestaan omdat er een speler voor de camera langs rent. Hij blijft doorbewegen, vertraagt minimaal door luchtweerstand en volgt een baan die de fysica met opmerkelijke precisie kan voorspellen.

Onze systemen houden het object in het geheugen tijdens obstructies en projecteren de positie voorwaarts op basis van het traject van vóór de verstopping. Wanneer het object weer verschijnt, kijkt het systeem al op de juiste plek. Ik zie het als het toekennen van objectpermanentie aan de AI. Mijn tweejarige neefje had dit rond maand acht al door. De meeste vision-systemen in productie hebben dat nog steeds niet.

'Gebruik gewoon een groter model'

Mensen zeggen dit voortdurend tegen me. Een investeerder zei het in 2023 letterlijk tegen me tijdens een pitch, achteroverleunend in zijn stoel alsof hij zojuist ons hele technische probleem had opgelost: 'Waarom finetune je niet gewoon een foundation model? Waarom al die fysica bouwen?'

Ik zweeg even. 'Omdat fysica niet verandert wanneer je trainingsdistributie verschuift.'

Een PINN leert niet alleen van data. Het leert van data die worden begrensd door de werkelijkheid. Het verschil is het verschil tussen antwoorden uit je hoofd leren en de stof echt begrijpen.

Physics-Informed Neural Networks – PINN's – zijn een van de elegantste concepten in moderne machine learning. Een standaard neuraal netwerk minimaliseert het verschil tussen zijn voorspellingen en gelabelde trainingsdata. Een PINN voegt een tweede straffactor toe: het netwerk wordt ook bestraft wanneer zijn voorspellingen een fysische vergelijking schenden. Als het een traject voorspelt waarin een bal midden in de lucht van richting verandert zonder externe kracht, wordt de geldende differentiaalvergelijking geschonden, schiet de loss omhoog en leert het netwerk dat niet te doen.

Het praktische gevolg is spectaculair. Een PINN heeft veel minder trainingsdata nodig omdat de wetten van de fysica het grootste deel van de oplossingsruimte al uitsluiten voordat de training begint. Het generaliseert naar omstandigheden die het nog nooit heeft gezien, omdat het de regels heeft geïnternaliseerd en niet alleen de voorbeelden heeft gememoriseerd. Voor ons werk in sporttracking betekent dit dat we de curve van een zwabberbal of een indraaiende vrije trap kunnen voorspellen vanuit het initiële traject – de camera draait vóór de actie uit in plaats van erachteraan te jagen. Voor de volledige technische analyse van PINN's en Hamiltonian Neural Networks ga ik dieper in op de materie in onze research paper.

De 'build vs. buy'-vraag die niemand eerlijk stelt

Elke bedrijfsleider die ik spreek staat voor dezelfde keuze: koop een kant-en-klare vision-API of bouw iets op maat. De eerlijke versie van dit gesprek, die zelden wordt gevoerd, luidt als volgt.

Kopen brengt je snel naar productie. De API werkt vanaf dag één. Hij kan prima overweg met standaardsituaties. De total cost of ownership lijkt laag op een spreadsheet.

Vervolgens doemen de randgevallen op. De valse positieven stapelen zich op. Je neemt mensen aan om het werk van de AI te controleren, wat het hele doel voorbijschiet. Je ontdekt dat het model van de leverancier niet kan worden afgestemd op jouw specifieke fysica. Je realiseert je dat jouw data je bedrijf verlaten. En je hebt nul intellectueel eigendom opgebouwd.

Het bouwen van een fysicagestuurd systeem kost vooraf meer. Er is serieus engineeringwerk voor nodig. Maar het percentage valse positieven daalt met ordegroottes omdat fysica de ruis wegfiltert die data alleen niet kunnen filteren. Het systeem draait op jouw infrastructuur, met jouw data, en levert modellen op die van jou zijn. De totale eigendomskosten op de lange termijn pleiten voor zelf bouwen bij elke toepassing waar fouten kostbaar zijn – wat naar mijn ervaring geldt voor elke toepassing die het automatiseren waard is.

Ik zeg niet dat elk bedrijf vanaf nul moet beginnen. Ik zeg wel dat als jouw AI een bal niet kan onderscheiden van een kaal hoofd, de abonnementskosten nog de minste van je zorgen zijn.

Context is de nieuwe accuratesse

Vorig jaar zat ik op de achterste rij van een conferentie te luisteren naar een panel dat debatteerde over de vraag of AI 'gezond verstand' nodig heeft. Vier onderzoekers, vijfenveertig minuten, geen enkele uitkomst. Ik bleef maar denken: we hebben geen gezond verstand nodig. We hebben fysica nodig. Gezond verstand is vaag. Fysica is een verzameling vergelijkingen die je in code kunt gieten.

De AI-sector heeft tien jaar lang geoptimaliseerd voor nauwkeurigheid op benchmarkdatasets. Modellen met miljarden parameters kunnen duizenden objectcategorieën met bovenmenselijke precisie identificeren – op testbeelden die lijken op de trainingsbeelden. Het komende decennium is aan context. Geen grotere modellen, maar slimmere randvoorwaarden. Niet meer parameters, maar meer fysica.

Weet jouw AI het verschil tussen een bal en een hoofd? Als hij louter vertrouwt op pixels, is het antwoord 'soms'. Als hij vertrouwt op fysica, is het antwoord 'altijd'.

Ik denk vaker aan die Schotse voetbalwedstrijd terug dan waarschijnlijk goed voor me is. Een kale man die langs de zijlijn stond, zich met zijn eigen zaken bemoeide en daarmee per ongeluk de fundamentele kwetsbaarheid van een hele generatie AI-systemen blootlegde. De supporters die de doelpunten misten waren gefrustreerd. Ik was dankbaar. Die grensrechter heeft me meer geleerd over het bouwen van echte AI dan welke wetenschappelijke paper dan ook.

De toekomst van computer vision ligt niet in méér zien. Het ligt in begrijpen wát je ziet.