Der kahlköpfige Linienrichter, der unsere KI aushebelte (und was er mich über verlässliche Vision-Systeme lehrte)

Im Oktober 2020 wurde ein schottisches Fußballspiel zwischen Inverness Caledonian Thistle und Ayr United zum lehrreichsten KI-Fehlschlag, den ich je analysiert habe. Ein automatisiertes Kamerasystem, das entwickelt worden war, um den Ball zu verfolgen und das Spiel ohne menschlichen Kameramann zu übertragen, verbrachte die gesamte Partie damit, liebevoll dem kahlgeschorenen Kopf eines Linienrichters an der Seitenlinie zu folgen. Die Zuschauer zu Hause verpassten jedes einzelne Tor. Das Internet amüsierte sich köstlich.

Zuerst habe auch ich gelacht. Dann verging mir das Lachen, weil mir klar wurde, dass mein Team Systeme mit exakt demselben blinden Fleck baute.

Die KI der Kamera hatte nach ihrer eigenen Logik perfekte Arbeit geleistet. Sie fand unter dem Flutlicht des Stadions ein rundes, helles Objekt und wies ihm einen Konfidenzwert von 98 % für „Ball“ zu. Der eigentliche Ball – der sich schnell bewegte, durch Schatten huschte und gelegentlich von Spielern verdeckt wurde – kam auf rund 80 %. Das System folgte der Mathematik. Die Mathematik war von der Realität entkoppelt. Diese Kluft zwischen dem Erkennen eines Musters und dem Verstehen dessen, was man vor sich hat, ist der Ort, an dem ich die letzten Jahre meines Lebens verbracht habe, und sie ist der Grund, warum ich bei Veriprajna mit der Entwicklung physikbeschränkter Bildverarbeitungssysteme begonnen habe.

Was sieht eine KI, wenn sie die Welt betrachtet?

Die meisten Computer-Vision-Systeme verarbeiten Bilder so, wie ein sehr selbstbewusstes Kleinkind Tiere im Zoo identifiziert. Rund und glänzend? Ball. Vier Beine? Hund. Der Vergleich ist kein Scherz – moderne Convolutional Neural Networks (CNNs) zerlegen Bilder in Texturen, Kanten und Formen und gleichen diese Merkmale dann mit Mustern ab, die sie aus Trainingsdaten gelernt haben. Im Grunde sind sie Texturabgleich-Maschinen.

Unter kontrollierten Bedingungen funktioniert das erstaunlich gut. Es bricht in dem Moment zusammen, in dem die physische Welt beginnt, physikalisch zu sein.

Objekterkennung ist kein Objektverständnis. Ein System, das ein rundes Objekt sieht und es als Ball bezeichnet, hat eine Textur identifiziert. Ein System, das diese Identifikation verwirft, weil der „Ball“ seit drei Minuten regungslos in 1,70 Metern Höhe schwebt – dieses System versteht etwas.

Die Kamera in Inverness konnte einen Kopf nicht von einem Ball unterscheiden, weil sie keine Vorstellung davon hatte, was ein Ball tut. Ein Fußball folgt den Gesetzen des schiefen Wurfs. Er beschleunigt beim Aufprall. Er erreicht Geschwindigkeiten von bis zu 130 km/h. Er kann nicht an einem menschlichen Oberkörper befestigt sein, der sich im Schritttempo bewegt. Das sind keine exotischen Erkenntnisse – jedes Kind, das das Spiel verfolgte, wusste das. Aber die KI arbeitete in dem, was die Computer-Vision-Community als „frame-unabhängige Inferenz“ bezeichnet, und verarbeitete jedes Bild als isolierte Momentaufnahme ohne Erinnerung an das Vorangegangene und ohne Erwartung dessen, was als Nächstes kommen sollte.

Die Nacht, in der mir klar wurde, dass wir dasselbe Problem hatten

Ich wünschte, ich könnte behaupten, ich sei durch eine elegante theoretische Erkenntnis zur physikbeschränkten Bildverarbeitung gelangt. Die Wahrheit ist unrühmliche Praxis. Wir bauten ein Fehlerinspektionssystem für einen Halbleiterkunden, und unser Modell stufte Staubpartikel unentwegt als Schaltkreisdefekte ein. Nicht gelegentlich – ständig. Die Falsch-Positiv-Rate zerstörte das Vertrauen des Produktionsteams in das System, und sie taten recht daran, ihm zu misstrauen.

Ich weiß noch, wie ich um 2 Uhr nachts wutentbrannt vor den Ergebnissen saß, denn unser Modell war nach jeder Benchmark-Metrik, die wir erfassten, präzise. Auf Standardtestdaten erkannte es Defekte in über 90 % der Fälle korrekt. Doch die Produktionsumgebung bestand nicht aus Standardtestdaten. Staub landete auf Wafern. Die Beleuchtung variierte zwischen den Inspektionsstationen. Das Modell sah einen dunklen Fleck und nannte ihn einen Defekt, genau wie die Kamera in Inverness eine runde Form sah und sie einen Ball nannte.

Mein CTO und ich stritten eine Woche lang über die Fehlerbehebung. Er wollte mehr Trainingsdaten. Ich wollte die Architektur ändern. Der Streit endete, als ich eine einfache Frage stellte: „Weiß unser Modell, dass sich ein Staubpartikel und ein Schaltkreisdefekt bei Aufnahmen aus mehreren Winkeln unterschiedlich verhalten?“ Das wusste es nicht. Ein echter Defekt – eine physische Vertiefung oder ein Kratzer im Silizium – verändert seine Position bei verschiedenen Blickwinkeln auf vorhersagbare Weise: Parallaxe. Ein auf der Oberfläche liegendes Staubpartikel verhält sich anders. Wir verlangten von einem Texturabgleicher, die Arbeit eines Physikers zu erledigen.

Das war der Wendepunkt. Wir hörten auf, das neuronale Netz schlauer machen zu wollen, und brachten ihm stattdessen bei, den Gesetzen der Physik zu gehorchen.

Die Demo, die schiefging

Drei Monate nach der Neuausrichtung im Halbleiterbereich saß ich in einem Konferenzraum und präsentierte unseren neuen Ansatz einem Logistikunternehmen. Fünfzehn Personen auf ihrer Seite des Tisches. Ich hatte eine Live-Demo vorbereitet, die zeigte, wie unser physikbeschränkter Tracker ein Paket durch ein simuliertes Lagerhaus verfolgte, dessen Position bei Verdeckungen vorhersagte und Fehldetektionen verwarf.

Die Demo begann fehlerfrei. Dann klingelte das Telefon von jemandem, und ein Lichtreflex vom Bildschirm traf unsere Kamera in genau dem falschen Winkel. Der Tracker geriet ins Stocken. Die Bounding Box sprang zu einer Deckenleuchte und verharrte dort für drei quälende Sekunden, bevor die Physikschicht sie korrigierte.

Ich stand da und sah zu, wie meine eigene Software genau auf die Weise versagte, von der ich monatelang behauptet hatte, dass sie unmöglich sei. Im Raum wurde es totenstill. Ich wollte im Erdboden versinken.

Die Physikschicht fing sich wieder. Das war der entscheidende Punkt. Aber in diesen drei Sekunden begriff ich etwas, das mich kein Benchmark je gelehrt hatte: In der Produktion geht es beim Vertrauen nicht um durchschnittliche Genauigkeit. Es geht darum, was im schlechtestmöglichen Frame passiert.

Ich sprach das laut aus, halb in den Raum und halb zu mir selbst: „Ein gewöhnliches System würde noch immer diese Deckenleuchte verfolgen. Unseres hat sich korrigiert. Diese Fehlerbehebung ist das Produkt.“ Der CTO gegenüber nickte langsam. Zwei Wochen später unterschrieben sie. Aber ich fuhr in dieser Nacht nach Hause und schrieb unsere Logik zur Konfidenzanzeige neu, damit das System seine Unsicherheit in Echtzeit anzeigt – denn ich wollte nie wieder vor einem Kunden stehen und so tun, als sei Mathematik Zauberei.

Warum scheitern KI-Systeme mit 90 % Genauigkeit in der Produktion?

Es gibt eine Falle, die ich heute das „90-%-Problem“ nenne, und ich erlebe, wie ein Unternehmen nach dem anderen hineintappt. Generische Computer-Vision-APIs – jene, die man bei jedem großen Cloud-Anbieter an einem Nachmittag aufsetzen kann – bringen einen schnell und billig auf 90 % Genauigkeit. In einer Demo wirken sie magisch. Der tatsächliche Geschäftswert liegt jedoch vollkommen in den letzten 10 %.

In diesen letzten 10 % befinden sich die Glatzen. Die Schatten, die für ein autonomes Fahrzeug wie Wände aussehen und Phantombremsungen auf der Autobahn auslösen. Der Moment, in dem die Hand eines Kunden in einem kassenlosen Geschäft ein Produkt verdeckt. Der seltene Halbleiterdefekt, der haargenau wie ein harmloses 2-Nanometer-Staubkorn aussieht.

In der Halbleiterfertigung kann eine Verbesserung der Defekterkennungsgenauigkeit um lediglich 1 % zu einer Ausbeutesteigerung von 5 bis 10 % führen, was jährlich Millionen einspart. Bei autonomen Fahrzeugen haben Tesla-Besitzer über weit verbreitete Phantombremsungen berichtet, bei denen Sichtsysteme Schatten und Überführungen fälschlicherweise als Hindernisse interpretierten. Das sind keine theoretischen Risiken. Es sind Produktionsausfälle, die sich genau jetzt branchenübergreifend ereignen, weil der zugrunde liegenden KI jede physikalische Intuition fehlt. Unsere Arbeit schließt diese Lücke von 90 % auf 99,99 %, indem sie die Physikschicht hinzufügt, die generischen APIs fehlt.

Wie wir unseren Systemen beibrachten, wie Physiker zu denken

Die Kernidee ist verblüffend einfach: Man behandelt die Ausgabe eines neuronalen Netzes nicht als Tatsache, sondern als verrauschte Messung, die anhand der Physik validiert werden muss. Über die vollständige technische Architektur habe ich in der interaktiven Version unserer Forschungsarbeit geschrieben, aber die Intuition zählt mehr als die Mathematik.

Stellen Sie sich vor, Sie verfolgen einen Fußball. Ihre Kamera meldet, dass sich der Ball im Mittelfeld befindet und sich mit 20 Metern pro Sekunde nach Osten bewegt. Eine Vierzigstelsekunde später meldet Ihre Kamera, der „Ball“ sei nun 15 Meter entfernt, an der Seitenlinie, und bewege sich im Schritttempo. Ein Kalman-Filter – ein mathematisches Rahmenwerk, das eine kontinuierliche Zustandsschätzung darüber aufrechterhält, wo sich ein Objekt befindet, wie schnell es sich bewegt und wie sicher es sich bei beidem ist – würde diese zweite Messung sofort verwerfen. Die implizierte Beschleunigung ist für einen Fußball physikalisch unmöglich. Das System berechnet die sogenannte Mahalanobis-Distanz – im Wesentlichen die Anzahl der Standardabweichungen, die die neue Messung von der Vorhersage abweicht. Übersteigt dieser Wert 3 Sigmas, wird die Detektion verworfen, ganz gleich, wie sicher sich das neuronale Netz bezüglich dieser Pixel ist.

Das ist es, was ich unter physikbeschränkter Computer Vision verstehe. Das neuronale Netz schlägt vor. Die Physik entscheidet.

Wir schalten bei jeder Erkennung mehrere Prüfgates hintereinander. Ein kinematisches Gate prüft, ob sich das Objekt physikalisch überhaupt dort befinden kann, wo das Netz es verortet. Ein optisches Fluss-Gate verifiziert, ob die Pixelbewegung innerhalb der Bounding Box zu dem passt, was man von einem realen bewegten Objekt erwarten würde – ein stillstehender Linienrichter erzeugt nahezu keinen Fluss, während ein fliegender Ball ein charakteristisches Muster generiert. Ein geometrisches Gate prüft, ob die scheinbare Größe des Objekts mit der 3D-Perspektive bei der angegebenen Entfernung zur Kamera konsistent ist.

Jede Erkennung, die an auch nur einem einzigen Gate scheitert, wird verworfen. Ohne Ausnahmen, ohne Übersteuerungen.

Was passiert, wenn das Objekt verschwindet?

Generische Systeme geraten in Panik. Der Konfidenzwert stürzt auf null. Der Tracker deklariert das Objekt als „verloren“ und friert entweder ein oder setzt sich zurück. In der physischen Welt ist das absurd. Ein Ball, der sich mit 20 Metern pro Sekunde bewegt, hört nicht auf zu existieren, bloß weil ein Spieler vor die Kamera gelaufen ist. Er bewegt sich weiter, verlangsamt sich minimal durch Luftwiderstand und folgt einer Trajektorie, die die Physik mit bemerkenswerter Präzision vorhersagen kann.

Unsere Systeme behalten das Objekt während einer Verdeckung im Speicher und projizieren seine Position anhand der Trajektorie vor der Verdeckung voraus. Wenn das Objekt wieder auftaucht, blickt das System bereits an die richtige Stelle. Ich betrachte das so, als würde man der KI Objektpermanenz verleihen. Mein zweijähriger Neffe hat das etwa im achten Monat begriffen. Die meisten produktiven Bildverarbeitungssysteme haben es bis heute nicht verstanden.

„Nehmt doch einfach ein größeres Modell“

Das bekomme ich ständig zu hören. Ein Investor sagte es 2023 bei einem Pitch wortwörtlich zu mir, während er sich in seinem Stuhl zurücklehnte, als hätte er gerade unser gesamtes technisches Problem gelöst: „Warum verfeinert ihr nicht einfach ein Foundation-Modell? Wozu der ganze Physik-Kram?“

Ich hielt inne. „Weil sich die Physik nicht ändert, wenn sich Ihre Trainingsverteilung verschiebt.“

Ein PINN lernt nicht bloß aus Daten. Es lernt aus Daten, die durch die Realität beschränkt sind. Der Unterschied entspricht dem zwischen dem Auswendiglernen von Antworten und dem wirklichen Verstehen des Fachs.

Physik-informierte neuronale Netze – PINNs – gehören zu den elegantesten Konzepten des modernen maschinellen Lernens. Ein Standard-Neuronales-Netz minimiert die Diskrepanz zwischen seinen Vorhersagen und annotierten Trainingsdaten. Ein PINN fügt eine zweite Strafe hinzu: Das Netz wird zusätzlich bestraft, wann immer seine Vorhersagen eine physikalische Gleichung verletzen. Sagt es eine Trajektorie voraus, bei der ein Ball ohne äußere Krafteinwirkung in der Luft die Richtung ändert, wird die zugrunde liegende Differentialgleichung verletzt, der Loss-Wert schießt nach oben und das Netz lernt, so etwas zu unterlassen.

Die praktischen Konsequenzen sind dramatisch. Ein PINN benötigt weitaus weniger Trainingsdaten, da die Gesetze der Physik den Großteil des Lösungsraums eliminieren, bevor das Training überhaupt beginnt. Es generalisiert auf Bedingungen, die es noch nie zuvor gesehen hat, weil es die Regeln verinnerlicht und nicht bloß Beispiele memoriert hat. Für unsere Arbeit im Bereich Sports-Tracking bedeutet dies, dass wir die Flugkurve eines Flatterballs oder eines angeschnittenen Freistoßes bereits aus der Anfangstrajektorie vorhersagen können – die Kamera schwenkt voraus, statt dem Geschehen hinterherzujagen. Für die vollständige technische Aufschlüsselung von PINNs und Hamiltonian Neural Networks gehe ich in unserem Forschungspapier noch tiefer ins Detail.

Die Build-vs.-Buy-Frage, die niemand ehrlich stellt

Jeder Unternehmensentscheider, mit dem ich spreche, steht vor derselben Wahl: eine fertige Bildverarbeitungs-API von der Stange kaufen oder eine maßgeschneiderte Lösung entwickeln. Die ehrliche Version dieses Gesprächs, die selten geführt wird, verläuft wie folgt.

Kaufen bringt einen schnell in die Produktion. Die API funktioniert ab Tag eins. Sie bewältigt Standardfälle zuverlässig. Die Gesamtkosten (TCO) wirken in einer Tabellenkalkulation niedrig.

Dann treten die Grenzfälle auf. Die Fehlalarme häufen sich. Man stellt Personal ein, um die Arbeit der KI manuell zu überprüfen, was den eigentlichen Zweck zunichtemacht. Man stellt fest, dass sich das Modell des Anbieters nicht auf die eigene spezifische Physik anpassen lässt. Man bemerkt, dass eigene Daten das Unternehmen verlassen. Und man hat keinerlei geistiges Eigentum aufgebaut.

Der Bau eines physikbeschränkten Systems erfordert anfangs höhere Investitionen. Es ist echte Ingenieursarbeit nötig. Doch die Falsch-Positiv-Rate sinkt um Größenordnungen, da die Physik das Rauschen herausfiltert, das Daten allein nicht bewältigen können. Das System läuft auf Ihrer Infrastruktur, mit Ihren Daten, und generiert Modelle, die Ihnen gehören. Bei jeder Anwendung, bei der Fehler teuer sind – was nach meiner Erfahrung auf jede automatisierungswürdige Anwendung zutrifft –, spricht die langfristige TCO für den Eigenbau.

Ich behaupte nicht, dass jedes Unternehmen bei null anfangen sollte. Ich sage lediglich: Wenn Ihre KI einen Ball nicht von einer Glatze unterscheiden kann, ist die Lizenzgebühr noch das geringste Ihrer Probleme.

Kontext ist die neue Genauigkeit

Ich saß letztes Jahr in der hinteren Reihe einer Konferenz und lauschte einer Podiumsdiskussion darüber, ob KI „gesunden Menschenverstand“ braucht. Vier Forscher, fünfundvierzig Minuten, kein Ergebnis. Ich dachte mir immer wieder: Wir brauchen keinen gesunden Menschenverstand. Wir brauchen Physik. Gesunder Menschenverstand ist vage. Physik ist eine Reihe von Gleichungen, die man in Code fassen kann.

Die AI-Branche hat ein Jahrzehnt damit verbracht, auf Benchmark-Datensätzen auf Genauigkeit hin zu optimieren. Modelle mit Milliarden von Parametern können Tausende von Objektkategorien mit übermenschlicher Präzision identifizieren – auf Testbildern, die den Trainingsbildern ähneln. Das nächste Jahrzehnt gehört dem Kontext. Nicht größeren Modellen, sondern intelligenteren Beschränkungen. Nicht mehr Parametern, sondern mehr Physik.

Weiß Ihre KI den Unterschied zwischen einem Ball und einem Kopf? Wenn sie sich ausschließlich auf Pixel stützt, lautet die Antwort „manchmal“. Wenn sie sich auf die Physik stützt, lautet die Antwort „immer“.

Ich denke häufiger an jenes schottische Fußballspiel zurück, als ich vermutlich sollte. Ein kahlköpfiger Mann, der an der Seitenlinie stand, friedlich seiner Arbeit nachging und dabei unbeabsichtigt die fundamentale Fragilität einer ganzen Generation von KI-Systemen offenlegte. Die Fans, die die Tore verpassten, waren frustriert. Ich war dankbar. Dieser Linienrichter hat mir mehr über den Bau echter KI beigebracht als jede wissenschaftliche Abhandlung, die ich je gelesen habe.

Die Zukunft der Computer Vision liegt nicht darin, mehr zu sehen. Sie liegt darin, zu verstehen, was man sieht.