La testa calva che ha mandato in tilt la nostra IA (e cosa mi ha insegnato su come costruire sistemi di visione che funzionano davvero)

Nell'ottobre 2020, una partita di calcio scozzese tra Inverness Caledonian Thistle e Ayr United è diventata il fallimento dell'IA più istruttivo che io abbia mai studiato. Un sistema di telecamere automatizzato, progettato per tracciare il pallone e trasmettere la partita senza un operatore umano, ha trascorso l'intero incontro a seguire con devozione la testa calva di un guardalinee a bordo campo. I tifosi a casa hanno perso ogni gol. Su Internet è scoppiato il finimondo.

All'inizio ho riso anch'io. Poi ho smesso di ridere, perché mi sono reso conto che il mio team stava costruendo sistemi con esattamente lo stesso punto cieco.

L'IA della telecamera aveva svolto il suo lavoro alla perfezione secondo la propria logica. Aveva individuato un oggetto rotondo e chiaro sotto i riflettori dello stadio e gli aveva assegnato un punteggio di confidenza del 98% per "pallone". Il pallone vero — che si muoveva veloce, sfocava tra le ombre, occasionalmente coperto dai giocatori — ha ottenuto circa l'80%. Il sistema ha seguito la matematica. La matematica era scollegata dalla realtà. Quel divario tra rilevare uno schema e comprendere ciò che si sta guardando è il luogo in cui ho trascorso gli ultimi anni della mia vita, ed è la ragione per cui ho iniziato a costruire sistemi di visione vincolati alla fisica in Veriprajna.

Cosa vede un'IA quando guarda il mondo?

La maggior parte dei sistemi di computer vision elabora le immagini come farebbe un bambino molto sicuro di sé che identifica gli animali allo zoo. Rotondo e lucido? Pallone. Quattro zampe? Cane. La somiglianza non è una battuta: le moderne reti neurali convoluzionali (CNN) scompongono le immagini in texture, bordi e forme, quindi confrontano queste caratteristiche con i pattern appresi dai dati di addestramento. Sono, fondamentalmente, macchine per l'abbinamento di texture.

Questo funziona straordinariamente bene in condizioni controllate. Crolla nel momento in cui il mondo fisico inizia a fare il mondo fisico.

Il rilevamento degli oggetti non è comprensione degli oggetti. Un sistema che vede una cosa rotonda e la chiama pallone ha identificato una texture. Un sistema che rifiuta tale identificazione perché il "pallone" è rimasto a un metro e settanta da terra per tre minuti: quel sistema comprende qualcosa.

La telecamera di Inverness non riusciva a distinguere una testa da un pallone perché non aveva alcun concetto di ciò che un pallone fa. Un pallone da calcio segue il moto dei proiettili. Accelera all'impatto. Viaggia a velocità che raggiungono i 130 km/h. Non può essere attaccato a un tronco umano che si muove a passo d'uomo. Non si tratta di intuizioni insolite: un bambino che guardava la partita lo avrebbe saputo. Ma l'IA operava in quella che la comunità di computer vision chiama "inferenza indipendente dai fotogrammi", elaborando ogni immagine come un'istantanea isolata senza memoria di ciò che è avvenuto prima e senza alcuna aspettativa su ciò che dovrebbe accadere dopo.

La notte in cui ho capito che avevamo lo stesso problema

Vorrei poter dire di essere arrivato alla visione vincolata alla fisica grazie a un'elegante intuizione teorica. La verità è più cruda. Stavamo costruendo un sistema di ispezione dei difetti per un cliente del settore dei semiconduttori, e il nostro modello segnalava particelle di polvere come difetti nei circuiti. Non ogni tanto: costantemente. Il tasso di falsi positivi stava distruggendo la fiducia del team di produzione nel sistema, ed era pienamente giustificato a non fidarsi.

Ricordo di essere rimasto seduto davanti ai risultati alle 2 di notte, furioso, perché il nostro modello era accurato secondo ogni parametro di riferimento monitorato. Identificava i difetti correttamente in oltre il 90% dei casi sui dati di test standard. Ma l'ambiente di produzione non era fatto di dati di test standard. La polvere si depositava sui wafer. L'illuminazione variava tra le postazioni di ispezione. Il modello vedeva un punto scuro e lo definiva difetto, proprio come la telecamera di Inverness aveva visto una forma rotonda e l'aveva definita pallone.

Io e il mio CTO abbiamo discusso per una settimana sulla soluzione. Lui voleva più dati di addestramento. Io volevo cambiare l'architettura. La discussione si è conclusa quando ho posto una semplice domanda: "Il nostro modello sa che una particella di polvere e un difetto del circuito si comportano in modo diverso con riprese multi-angolo?". Non lo sapeva. Un difetto reale — una cavità o un graffio fisico nel silicio — cambia posizione in modo prevedibile quando lo si riprende da angolazioni diverse. Parallasse. Una particella di polvere posata sulla superficie si comporta diversamente. Stavamo chiedendo a un comparatore di texture di fare il lavoro di un fisico.

Quella è stata la svolta. Abbiamo smesso di cercare di rendere la rete neurale più intelligente e abbiamo iniziato a farle obbedire alle leggi della fisica.

La demo andata storta

Tre mesi dopo il cambio di rotta sui semiconduttori, mi trovavo in una sala conferenze a presentare il nostro nuovo approccio a una società di logistica. Quindici persone dall'altra parte del tavolo. Avevo allestito una demo dal vivo che mostrava il nostro tracker vincolato alla fisica mentre seguiva un pacco attraverso un magazzino simulato, prevedendone la posizione attraverso le occlusioni e respingendo i falsi rilevamenti.

La demo è iniziata in modo impeccabile. Poi è squillato il telefono di qualcuno e un riflesso di luce dallo schermo ha colpito la nostra telecamera proprio con l'angolazione sbagliata. Il tracker ha esitato. Il riquadro di delimitazione è saltato su una lampada a soffitto ed è rimasto lì per tre interminabili secondi prima che il livello fisico lo correggesse.

Sono rimasto lì impietrito a guardare il mio software fallire esattamente nel modo in cui avevo trascorso mesi a sostenere che non avrebbe fatto. Nella stanza è calato il silenzio. Avrei voluto che la terra si aprisse sotto i miei piedi.

Il livello fisico si è ripreso. Era questo il punto. Ma in quei tre secondi ho capito qualcosa che nessun benchmark mi aveva mai insegnato: in produzione, la fiducia non riguarda l'accuratezza media. Riguarda ciò che accade nel fotogramma peggiore.

L'ho detto ad alta voce, un po' per la stanza e un po' per me stesso. "Un sistema generico starebbe ancora tracciando quella lampada a soffitto. Il nostro ha corretto. Quel recupero è il prodotto". Il CTO dall'altra parte del tavolo ha annuito lentamente. Hanno firmato due settimane dopo. Ma quella notte sono tornato a casa e ho riscritto la nostra logica di visualizzazione della confidenza in modo che il sistema mostrasse la propria incertezza in tempo reale — perché non volevo mai più ritrovarmi davanti a un cliente fingendo che la matematica fosse magia.

Perché i sistemi di IA accurati al 90% falliscono in produzione?

C'è una trappola che ora chiamo il "problema del 90%", e vedo un'azienda dopo l'altra caderci dentro. Le API generiche di computer vision — quelle che si possono attivare con qualsiasi grande fornitore cloud in un pomeriggio — portano al 90% di accuratezza in modo rapido ed economico. In una demo sembrano magiche. Il vero valore aziendale risiede interamente nell'ultimo 10%.

In quell'ultimo 10% si trovano le teste calve. Le ombre che a un veicolo autonomo sembrano muri, innescando frenate fantasma in autostrada. Il momento in cui la mano di un cliente copre un prodotto in un negozio senza casse. Il raro difetto di un semiconduttore che appare identico a un'innocua particella di polvere da 2 nanometri.

Nella produzione di semiconduttori, migliorare l'accuratezza del rilevamento dei difetti di appena l' 1% può portare a un aumento della resa del 5-10%, risparmiando milioni all'anno. Nei veicoli autonomi, i proprietari di Tesla hanno segnalato frequenti episodi di frenata fantasma in cui i sistemi di visione scambiano ombre e cavalcavia per ostacoli. Questi non sono rischi teorici. Sono fallimenti in produzione che avvengono proprio ora, in diversi settori, perché l'IA sottostante è priva di intuizione fisica. Il nostro lavoro colma il divario dal 90% al 99,99% aggiungendo il livello di fisica di cui le API generiche sono prive.

Come abbiamo insegnato ai nostri sistemi a pensare come fisici

L'idea fondamentale è ingannevolmente semplice: trattare l'output di una rete neurale non come un fatto, ma come una misurazione rumorosa che deve essere convalidata rispetto alla fisica. Ho descritto l'architettura tecnica completa nella versione interattiva della nostra ricerca, ma l'intuizione conta più della matematica.

Immagina di tracciare un pallone da calcio. La telecamera indica che il pallone si trova a centrocampo e si muove verso est a 20 metri al secondo. Un quarantesimo di secondo dopo, la telecamera dice che il "pallone" è ora a 15 metri di distanza, sulla linea laterale, e si muove a passo d'uomo. Un filtro di Kalman — un modello matematico che mantiene una stima continua di dove si trova un oggetto, della sua velocità e del grado di certezza su entrambi i parametri — rifiuterebbe istantaneamente quella seconda misurazione. L'accelerazione implicita è fisicamente impossibile per un pallone da calcio. Il sistema calcola quella che viene chiamata distanza di Mahalanobis: in sostanza, a quante deviazioni standard la nuova misurazione si discosta dalla previsione. Se supera i 3 sigma, il rilevamento viene scartato, a prescindere dal livello di confidenza della rete neurale su quei pixel.

È questo ciò che intendo per visione vincolata alla fisica. La rete neurale propone. La fisica dispone.

Applichiamo molteplici porte di controllo su ogni rilevamento. Una porta cinematica verifica se l'oggetto potrebbe trovarsi fisicamente dove la rete afferma che sia. Una porta di flusso ottico verifica che il movimento dei pixel all'interno del riquadro di delimitazione corrisponda a quanto ci si aspetterebbe da un vero oggetto in movimento: un guardalinee fermo genera un flusso quasi nullo, mentre un pallone in volo genera un pattern caratteristico. Una porta geometrica verifica che le dimensioni apparenti dell'oggetto siano coerenti con la prospettiva 3D alla distanza dichiarata dalla telecamera.

Qualsiasi rilevamento che fallisce anche una sola porta viene respinto. Senza eccezioni, senza bypass manuali.

Cosa succede quando l'oggetto scompare?

I sistemi generici vanno nel panico. Il punteggio di confidenza crolla a zero. Il tracker dichiara l'oggetto "perso" e si blocca o si resetta. Nel mondo fisico, questo è assurdo. Un pallone che si muove a 20 metri al secondo non smette di esistere perché un giocatore è passato davanti alla telecamera. Continua a muoversi, decelerando leggermente a causa dell'attrito dell'aria, seguendo una traiettoria che la fisica può prevedere con notevole precisione.

I nostri sistemi mantengono l'oggetto in memoria durante l'occlusione, proiettandone la posizione in avanti in base alla traiettoria precedente all'occlusione. Quando l'oggetto riappare, il sistema sta già guardando nel posto giusto. Lo considero come dare all'IA il senso della permanenza dell'oggetto. Mio nipote di due anni lo ha capito intorno all'ottavo mese. La maggior parte dei sistemi di visione in produzione non ci è ancora riuscita.

"Basta usare un modello più grande"

Le persone me lo dicono continuamente. Un investitore me lo ha detto testualmente durante una presentazione nel 2023, appoggiandosi allo schienale della sedia come se avesse appena risolto l'intero nostro problema tecnico: "Perché non limitarsi a fare il fine-tuning di un modello di base? Perché costruire tutta questa parte di fisica?".

Mi sono fermato un attimo. "Perché la fisica non cambia quando la distribuzione dell'addestramento si sposta".

Una PINN non apprende solo dai dati. Apprende da dati vincolati dalla realtà. La differenza è quella che passa tra il memorizzare le risposte e il comprendere la materia.

Le reti neurali informate dalla fisica — PINN — sono una delle idee più eleganti nel moderno machine learning. Una rete neurale standard riduce al minimo il divario tra le sue previsioni e i dati di addestramento etichettati. Una PINN aggiunge una seconda penalità: la rete viene punita anche ogni volta che le sue previsioni violano un'equazione fisica. Se prevede una traiettoria in cui un pallone curva a mezz'aria senza alcuna forza esterna, l'equazione differenziale di riferimento viene violata, la perdita schizza verso l'alto e la rete impara a non farlo.

La conseguenza pratica è notevole. Una PINN richiede molti meno dati di addestramento perché le leggi della fisica eliminano la maggior parte dello spazio delle soluzioni prima dell'inizio dell'addestramento. Si generalizza a condizioni mai viste prima perché ha interiorizzato le regole, non si è limitata a memorizzare gli esempi. Per il nostro lavoro nel tracciamento sportivo, questo significa che possiamo prevedere la traiettoria a effetto di una palla corta o di una punizione a giro fin dalla traiettoria iniziale — la telecamera si sposta in avanti rispetto all'azione invece di inseguirla. Per una trattazione tecnica completa di PINN e reti neurali hamiltoniane, approfondisco l'argomento nel nostro articolo di ricerca.

La scelta tra costruire e comprare che nessuno affronta con onestà

Ogni leader aziendale con cui parlo si trova di fronte alla stessa scelta: acquistare un'API di visione già pronta o costruire una soluzione su misura. La versione onesta di questa conversazione, che accade raramente, suona così.

Comprare consente di arrivare in produzione rapidamente. L'API funziona fin dal primo giorno. Gestisce bene i casi standard. Il costo totale di proprietà appare basso su un foglio di calcolo.

Poi arrivano i casi limite. I falsi positivi si accumulano. Si assumono persone per controllare il lavoro dell'IA, vanificando lo scopo iniziale. Si scopre che il modello del fornitore non può essere adattato alle specificità fisiche dell'applicazione. Ci si rende conto che i propri dati escono dall'infrastruttura aziendale. E non si è creata alcuna proprietà intellettuale.

Costruire un sistema vincolato alla fisica comporta costi iniziali più elevati. C'è una vera attività di ingegneria. Ma il tasso di falsi positivi diminuisce di ordini di grandezza perché la fisica filtra il rumore che i soli dati non possono eliminare. Il sistema funziona sulla propria infrastruttura, con i propri dati, producendo modelli di proprietà dell'azienda. Il costo totale di proprietà a lungo termine favorisce lo sviluppo interno per qualsiasi applicazione in cui gli errori siano costosi — il che, per la mia esperienza, vale per ogni applicazione che valga la pena automatizzare.

Non sto dicendo che ogni azienda debba ripartire da zero. Sto dicendo che se la vostra IA non sa distinguere un pallone da una testa calva, il canone di abbonamento è l'ultimo dei vostri costi.

Il contesto è la nuova accuratezza

L'anno scorso ero seduto nell'ultima fila di una conferenza e ascoltavo un panel discutere se l'IA abbia bisogno di "buon senso". Quattro ricercatori, quarantacinque minuti, nessuna conclusione. Continuavo a pensare: non abbiamo bisogno del buon senso. Abbiamo bisogno della fisica. Il buon senso è vago. La fisica è un insieme di equazioni che si possono scrivere nel codice.

L'industria dell'IA ha trascorso un decennio a ottimizzare l'accuratezza sui set di dati di riferimento. Modelli con miliardi di parametri riescono a identificare migliaia di categorie di oggetti con precisione sovrumana — su immagini di test identiche a quelle di addestramento. Il prossimo decennio appartiene al contesto. Non modelli più grandi, ma vincoli più intelligenti. Non più parametri, ma più fisica.

La vostra IA conosce la differenza tra un pallone e una testa? Se si affida solo ai pixel, la risposta è "a volte". Se si affida alla fisica, la risposta è "sempre".

Penso a quella partita di calcio scozzese più di quanto probabilmente dovrei. Un uomo calvo fermo a bordo campo, intento a fare il suo lavoro, che espone involontariamente la fondamentale fragilità di un'intera generazione di sistemi di IA. I tifosi che si sono persi i gol erano frustrati. Io ero grato. Quel guardalinee mi ha insegnato su come costruire una vera IA più di qualsiasi saggio io abbia mai letto.

Il futuro della computer vision non sta nel vedere di più. Sta nel capire ciò che si vede.