Illustrazione editoriale divisa: un pallone da calcio etichettato 'ball 80%' contro la testa pelata di un guardalinee in un riquadro di tracciamento etichettato 'ball 98%'.
Artificial IntelligenceComputer VisionMachine Learning

L'IA ha inseguito una testa pelata per tutta la partita. Più dati di addestramento non lo risolveranno.

Ashutosh SinghalAshutosh Singhal23 maggio 202613 min

Nell'ottobre del 2020, una telecamera automatizzata durante una partita di calcio scozzese ha passato l'intera gara a seguire la testa pelata di un guardalinee invece del pallone. Il video è diventato virale. La maggior parte delle persone ci ha riso su come se fosse un simpatico difetto. Io l'ho guardato in loop per un motivo diverso: il sistema non era rotto. Stava facendo esattamente ciò per cui l'avevamo costruito.

Quel video è l'illustrazione più nitida possibile del perché la computer vision vincolata dalla fisica sia l'unica cosa che rende affidabili i sistemi di visione in produzione — e del perché riversare più dati di addestramento sul problema, che è ciò che ho provato per primo, non lo risolve.

Sotto i riflettori dello stadio, una testa pelata produce riflessi speculari — riflessi bianchi, rotondi e brillanti — con gradienti di pixel statisticamente indistinguibili da un pallone da calcio. Il rilevatore, una CNN standard della famiglia YOLO, elaborava ogni fotogramma singolarmente e assegnava una confidenza del 98% a "pallone" sulla testa. Il pallone vero, sfocato mentre sfrecciava tra le ombre, otteneva l'80%. Il sistema seguiva il numero più alto. Non è un bug. È il modello che crede ai propri occhi.

Un rilevatore trova pattern. Non ha idea che un "pallone" fermo a un'altezza costante di 1,7 metri dal suolo, attaccato a un cilindro verticale, che cammina lungo la linea laterale, sia fisicamente impossibile.

La soluzione non è un dataset migliore. La soluzione è la fisica.

Il problema della testa pelata è ovunque — semplicemente non diventa sempre virale

Ho passato anni a mettere in produzione pipeline di visione in due mondi che non si somigliano affatto: le impalcature degli stadi che tracciano un pallone e le linee di fab che ispezionano il silicio. Condividono una stessa malattia. Il modello vede una forma che riconosce e la segnala, senza alcun meccanismo per chiedersi se ciò che sta segnalando possa esistere nel mondo fisico.

Nell'ispezione dei semiconduttori, il sintomo non è una testa pelata — è il difetto di disturbo. KLA detiene circa il 63% del mercato del controllo di processo, e i loro strumenti broadband della serie 2900 possono risolvere caratteristiche piccole fino a 10 nanometri. La sensibilità di rilevamento non è il collo di bottiglia. Il collo di bottiglia è che una singola scansione broadband segnala migliaia di anomalie per wafer, e la maggior parte di esse sono polvere, artefatti superficiali o rumore di pattern che non toccheranno mai la resa. Ognuna deve comunque essere classificata da un modello di deep learning addestrato su una libreria di difetti storici.

Ecco cosa quel modello non possiede: alcuna comprensione di come la luce interagisca fisicamente con una cavità rispetto a una macchia o a un residuo di processo. Così, quando una fab passa a un nuovo nodo di processo — diciamo, gate-all-around a 2nm — la libreria di addestramento diventa obsoleta da un giorno all'altro e il tasso di disturbo schizza in alto. E il costo di sbagliare non è astratto. Una perdita di resa dell'1% ai nodi avanzati si traduce in milioni, perché un singolo wafer può costare decine di migliaia di dollari.

Il reparto produttivo ha la stessa malattia con una presentazione più silenziosa e più insidiosa. Su una linea di produzione che esegue il controllo qualità con l'IA, non sai quasi mai in tempo reale quando il modello sbaglia, perché non ci sono etichette di verità di riferimento accanto alla telecamera. Un angolo di illuminazione si sposta dopo la manutenzione. Una lente si appanna nel giro di qualche settimana. Un supporto si usura. I falsi scarti aumentano e ti ritrovi con cicli di rilavorazione, oppure i falsi accettati si insinuano e ottieni delle fughe — e scopri quale delle due solo quando una fuga qualitativa impone un contenimento, una quarantena, una re-ispezione completa.

Il modello non è fallito in modo clamoroso. È andato alla deriva in silenzio, e il primo allarme è stato un reso da un cliente.

Quel silenzio è costoso. Il costo della scarsa qualità si aggira intorno al 20% delle vendite totali per il produttore medio. Un difetto individuato in fase di pianificazione costa circa 100 dollari; lo stesso difetto individuato in produzione costa 10.000 dollari. Intel ha dichiarato di risparmiare circa 2 milioni di dollari all'anno solo evitando gli scarti grazie all'ispezione con l'IA. Il vantaggio è reale — ed è esattamente per questo che la modalità di guasto a deriva silenziosa è così corrosiva. Divora il vantaggio senza dirtelo.

E la sovracorrezione è costosa quanto la deriva. Ho visto un impianto di ispezione ottica automatizzata da diversi milioni di dollari venire silenziosamente spento perché la sua taratura era così aggressiva da scartare i pezzi buoni più velocemente di quanto individuasse quelli difettosi — non riusciva a superare un test di Knapp, lo standard che verifica se la tua ispezione distingua davvero i difetti dalla variazione accettabile. Un sistema che protegge la resa sulla carta e la distrugge nella pratica è peggio di nessun sistema, perché qualcuno l'ha pagato e ora qualcuno diffida di ogni decisione automatizzata che tocca.

Perché più dati di addestramento non risolvono il problema?

Quando il mio team ha sbattuto contro questo muro per la prima volta, ero certo della risposta, e mi sbagliavo.

L'ortodossia nella computer vision è che i casi limite sono un problema di dati. Il tuo modello fallisce sui casi strani perché non ne ha visti abbastanza, quindi vai a raccoglierne di più. Ci credevo. Lo sostenevo. Abbiamo costruito un dataset molto più grande e molto più diversificato — illuminazioni diverse, angolazioni diverse, più casi confusi — e riaddestrato. I numeri del modello sul set di validazione erano splendidi. Ricordo la sensazione di aver colmato il divario.

Poi l'abbiamo messo su una linea reale, e una squadra di manutenzione ha regolato un corpo illuminante, e il contenitore degli scarti ha cominciato a riempirsi di pezzi buoni.

Nulla nel nostro splendido dataset copriva quella esatta nuova geometria di illuminazione, perché quella geometria non esisteva quando avevamo raccolto i dati. Avremmo potuto andare a raccogliere anche quella — e poi rincorrere lo spostamento successivo, e il successivo appannamento della lente, all'infinito. È stato allora che la frase che mi tormentava è finalmente arrivata a segno: i casi limite non sono il 5% del problema. Sono l'80% del tempo di ingegneria, il 90% del costo di supporto e il 100% della responsabilità. Non puoi uscire da un insieme infinito enumerandolo.

Uno dei miei ingegneri voleva continuare a stringere — alzare la soglia di confidenza finché i falsi positivi non sparivano. Funziona su una slide. In pratica, spingere verso zero falsi positivi li scambia semplicemente con falsi negativi: ora ti sfuggono i difetti reali, le minacce reali, le cose che avevi effettivamente distribuito il sistema per individuare. Dopo abbastanza di queste discussioni ho dovuto dirlo a voce alta: ogni manopola che sapevamo girare era un modo per spostare il guasto, non per rimuoverlo.

Non è un'esperienza marginale. Circa il 95% dei progetti di computer vision non raggiunge mai la produzione, e il motivo non è quasi mai l'algoritmo — è esattamente questo tipo di collasso implementativo, il divario tra un modello che funziona in laboratorio e uno che sopravvive al reparto produttivo. Una ricerca del MIT ha rilevato che il 95% dei progetti pilota di IA aziendale non è riuscito a produrre un ROI misurabile entro sei mesi. Stavamo per diventare una voce in quella statistica.

Cosa fanno davvero i vincoli fisici

Diagramma della pipeline: l'output del rilevatore attraversa un gate fisico che rigetta il movimento impossibile e accetta il movimento plausibile.

Il punto di svolta è stato piccolo e quasi imbarazzante col senno di poi.

Invece di chiedere al rilevatore di essere più sicuro, abbiamo messo un gate davanti al suo output che poneva una domanda di fisica: questa cosa avrebbe potuto muoversi nel modo in cui dici che si è mossa? Una traiettoria che viola la cinematica di un oggetto dotato di massa e quantità di moto — un rilevamento che salta una distanza che nessun pallone potrebbe coprire tra due fotogrammi — viene rigettata prima ancora di essere creduta. Non abbiamo toccato il rilevatore. Il tasso di falsi positivi è calato comunque.

Questa è tutta l'idea, e si generalizza. Un oggetto tracciato non può teletrasportarsi tra i fotogrammi. Un difetto reale ha parallasse — si sposta rispetto allo sfondo al variare del punto di vista, cosa che un'ombra non farà mai. Un'ombra non ha profondità. Questi sono vincoli che il mondo fisico rispetta gratuitamente, e non si spostano quando cambia la tua illuminazione. Le proprietà fisiche di un pezzo fabbricato correttamente non cambiano quando un supporto si usura o una luce viene spostata. Questo rende la fisica l'unica àncora stabile in un sistema dove tutto ciò che è guidato dai dati è alla deriva.

Alzare una soglia di confidenza chiede al modello di bluffare di più. Un vincolo fisico si rifiuta semplicemente di credere all'impossibile.

Quindi la domanda che ora poniamo non è "questo assomiglia a un pezzo buono rispetto alle immagini di addestramento?". È "questa immagine è coerente con la geometria nota e il comportamento del materiale dell'oggetto reale?". Sono domande profondamente diverse, e solo la seconda sopravvive a una transizione di nodo di processo o a una finestra di manutenzione di un martedì pomeriggio.

Esiste un set di strumenti maturo per questo, e la verità onesta è che la maggior parte di esso vive nei paper di ricerca piuttosto che nei prodotti in commercio. La fisica può essere integrata in un sistema di visione in tre modi: nell'architettura della rete stessa, nella funzione di perdita come penalità basata sulla fisica durante l'addestramento, o nella generazione di dati sintetici tramite rendering fisicamente accurato. Il problema — quello che tiene tutto questo fuori dalla produzione — è che la fisica di solito si ferma al momento dell'addestramento. Il modello distribuito è ancora una scatola nera puramente guidata dai dati nel momento dell'inferenza, quando conta davvero.

Il lavoro su cui ci appoggiamo colma quel divario in fase di inferenza. Il tracciamento moderno accoppia un classico filtro di Kalman — un metodo vecchio di decenni per stimare dove sarà un oggetto in movimento, date le leggi del moto — con il deep learning, invece di scegliere l'uno o l'altro. Approcci come KalmanNet assistono il filtro con una rete neurale per le dinamiche non completamente note. Un sistema del 2026 chiamato Phys-3D impone un movimento 3D fisicamente plausibile attraverso la geometria della camera stenopeica e riporta un errore di conteggio del 2,97% anche in presenza di occlusione densa e vibrazioni della telecamera. PhyOT si spinge oltre e tratta la rete neurale stessa come un sensore che alimenta una configurazione di Kalman governata dalle leggi di Newton. Il filo comune: la rete propone, e la fisica dispone. I sistemi di visione vincolati dalla fisica che costruiamo inseriscono esattamente questo tipo di strato di vincoli nel percorso di inferenza — filtraggio di Kalman, gate di flusso ottico e architettura informata dalla fisica — così che il rigetto dell'impossibile avvenga dal vivo, non in un notebook di addestramento.

Perché i grandi fornitori non lo fanno e basta?

Matrice di cinque fornitori di CV che mostra che la fisica è applicata a posteriori o in fase di addestramento, non in fase di inferenza.

Me lo chiedono di continuo, di solito con una nota di sospetto — se i vincoli fisici sono così ovviamente giusti, perché Hawk-Eye o KLA non li propongono come impostazione predefinita? La risposta è che i leader hanno un po' di fisica, ma quasi sempre nel posto sbagliato, e le lacune sono istruttive.

Pixellot, dopo l'era della testa pelata, ha aggiunto un tracciamento a ipotesi multiple che ha in gran parte eliminato quella specifica classe di errore — ma la loro fisica è un smoothing della traiettoria a posteriori, non uno strato di vincoli, quindi continuano a comparire nuove modalità di guasto (OCR delle maglie sotto sfocatura da movimento, proiezione del fuorigioco su un campo non piano). E questo non è aneddotico: su SoccerNet, il più grande benchmark pubblico di tracciamento sportivo, il tracciamento multi-oggetto è ancora misurato come tutt'altro che risolto sul movimento rapido e l'occlusione pesante, e nessun tracker consapevole della fisica vi è stato ancora integrato. Quello spazio vuoto è l'intera opportunità. Hawk-Eye, di proprietà di Sony, ha vincoli geometrici davvero solidi — triangola da sei a otto telecamere 4K e 8K calibrate, traccia 29 punti scheletrici per giocatore ed è sufficientemente accurato da essere usato dalla NFL per le misurazioni del first-down. Ma quel rigore costa oltre un milione di dollari per impianto e richiede un'infrastruttura dedicata. Non è uno strato che aggiungi alla tua pipeline esistente; è un adeguamento dello stadio.

Sul versante industriale il pattern si ripete. I modelli di fisica dei difetti di KLA sono reali ma cotti su specifici nodi di processo, ed è il motivo per cui le transizioni di nodo fanno schizzare il tasso di disturbo — e l'investimento di KLA stessa da 2,3 miliardi di dollari nell'ispezione di prossima generazione è un segnale che sanno che il divario esiste. Gli strumenti di deep learning ViDi di Cognex sono eccellenti e possono addestrarsi anche solo con 5-10 immagini, riducendo del 90% i tempi di configurazione — ma non c'è fisica in fase di inferenza, quindi sono esposti alla deriva silenziosa quanto chiunque altro. E l'ecosistema Metropolis e Omniverse di NVIDIA simula una fisica splendida — per generare dati di addestramento sintetici. La fisica si ferma all'addestramento; il modello distribuito è ancora guidato dai dati.

In tutto il settore, la colonna dell'"integrazione della fisica" è vuota o puntata sull'addestramento. Il modello distribuito, quello che prende la decisione in tempo reale, sta ancora tirando a indovinare dai pixel.

Questo è il divario in cui costruiamo. Non una piattaforma, non un adeguamento dello stadio — uno strato di vincoli fisici che si colloca nella tua pipeline esistente e rigetta l'impossibile prima che diventi costoso. Che tu stia gestendo telecamere automatizzate su un campo, ispezionando wafer a 10nm, o classificando difetti su una linea, il vincolo regge quando l'illuminazione si sposta, perché l'illuminazione è esattamente ciò da cui la fisica non dipende.

La parte che nessuno vuole sentire sui "falsi positivi a zero"

Ogni acquirente prima o poi mi chiede zero falsi positivi. Capisco l'istinto, e dico loro la stessa cosa ogni volta: è tecnicamente realizzabile e probabilmente ti danneggerà.

Spingere un sistema verso zero falsi positivi alza inevitabilmente i falsi negativi — il difetto reale mancato, la minaccia che sfugge. L'obiettivo non è mai lo zero di un tipo di errore; è il giusto equilibrio per la posta in gioco specifica della tua applicazione. Ciò che i vincoli fisici ti danno è una frontiera migliore su cui bilanciarti. La riduzione convenzionale dei falsi positivi — taratura della soglia, calibrazione, autoencoder che la ricerca mostra possono ridurre i falsi positivi da un 22% fino all'87% — tutto questo opera sulla confidenza del modello. La fisica opera sulla realtà. Rigetta il rilevamento fisicamente impossibile senza rendere il modello più timido su quello genuinamente ambiguo. Ottieni meno falsi allarmi e non lo paghi in difetti mancati, perché hai rimosso una categoria di errore invece di scambiarla.

C'è anche un vento favorevole normativo qui, e non è quello che la gente si aspetta. Le disposizioni principali dell'AI Act dell'UE entrano in vigore il 2 agosto 2026 e, sebbene la maggior parte dell'ispezione industriale non sia classificata come sorveglianza biometrica ad alto rischio, i requisiti di documentazione e trasparenza dell'Act spingono ampiamente verso sistemi le cui decisioni puoi spiegare. Una scatola nera guidata dai dati che dice "pallone, 98%" non può dirti perché. Un sistema che ha rigettato un rilevamento perché violava la parallasse sì. La falsificabilità non è più solo buona ingegneria; sta diventando una postura di conformità.

Ciò in cui credo ora

Sono arrivato a questo convinto che la computer vision fosse un problema di dati e che il team con il dataset più grande e pulito avrebbe vinto. Ho messo in produzione un modello che mi ha dimostrato il contrario in un reparto produttivo, davanti a persone la cui produttività dipendeva da esso.

Ciò in cui credo ora è più circoscritto e più duraturo. Un modello di visione che sa soltanto come le cose appaiono è permanentemente a un cambio di illuminazione, un nodo di processo, un guardalinee pelato di distanza dal dirti con sicurezza qualcosa di impossibile. I sistemi che sopravvivono alla produzione sono quelli che sanno anche cosa il mondo fisico consente — e verificano ogni rilevamento a fronte di ciò prima di agire.

Il mercato sta per imparare questa lezione nel modo più duro su larga scala. La computer vision è un mercato da 33 miliardi di dollari nel 2026 che cresce di quasi il 20% l'anno, i sistemi di visione agentici stanno iniziando a innescare azioni nel mondo reale di propria autorità, e più diventano autonomi, meno tollerabile diventa una risposta impossibile data con sicurezza. Puoi continuare a raccogliere filmati di casi limite e a rincorrere il prossimo cambio di illuminazione, la prossima transizione di nodo, all'infinito. Oppure puoi insegnare al modello l'unico insieme di regole che non va mai alla deriva. Se vuoi vedere come integriamo quel vincolo in una pipeline di produzione, è da lì che partirei.

Un pallone non può teletrasportarsi. Costruisci il sistema che lo sa.

Ricerca correlata

Pubblicato anche su

Costruisci la tua IA con fiducia.

Collabora con un team che vanta una profonda esperienza nella creazione della prossima generazione di IA aziendale. Lascia che ti aiutiamo a progettare, sviluppare e implementare una strategia di IA di cui ti puoi fidare.

Veriprajna società di consulenza Deep Tech è specializzata nella creazione di sistemi di IA safety-critical per i settori sanitario, finanziario e regolamentato. Le nostre architetture sono validate rispetto a protocolli consolidati con una documentazione di conformità completa.