La cabeza calva que rompió nuestra IA (y lo que me enseñó sobre construir sistemas de visión que realmente funcionan)

En octubre de 2020, un partido de fútbol escocés entre el Inverness Caledonian Thistle y el Ayr United se convirtió en el fallo de IA más instructivo que jamás haya estudiado. Un sistema de cámaras automatizado, diseñado para seguir el balón y retransmitir el partido sin un operador humano, se pasó todo el encuentro siguiendo con devoción la cabeza calva de un juez de línea situado en la banda. Los aficionados en casa se perdieron todos los goles. Internet hizo su agosto.

Yo también me reí al principio. Luego dejé de reír, porque me di cuenta de que mi equipo estaba construyendo sistemas con exactamente el mismo punto ciego.

La IA de la cámara había hecho su trabajo a la perfección según su propia lógica. Encontró un objeto redondo y de color claro bajo los focos del estadio y le asignó una puntuación de confianza del 98% para "balón". El balón real —que se movía rápido, se difuminaba entre las sombras y ocasionalmente quedaba tapado por los jugadores— obtuvo una puntuación en torno al 80%. El sistema siguió las matemáticas. Las matemáticas estaban desconectadas de la realidad. Esa brecha entre detectar un patrón y entender lo que estás mirando es donde he pasado los últimos años de mi vida, y es la razón por la que empecé a construir sistemas de visión con restricciones físicas en Veriprajna.

¿Qué ve una IA cuando mira al mundo?

La mayoría de los sistemas de visión por computador procesan imágenes igual que un niño pequeño muy seguro de sí mismo identifica animales en el zoo. ¿Redondo y brillante? Balón. ¿Cuatro patas? Perro. El parecido no es una broma: las redes neuronales convolucionales (CNN) modernas descomponen las imágenes en texturas, bordes y formas, y luego cotejan esos rasgos con patrones aprendidos a partir de los datos de entrenamiento. Son, en esencia, máquinas de emparejar texturas.

Esto funciona asombrosamente bien en condiciones controladas. Se desmorona en el momento en que el mundo físico empieza a comportarse como tal.

La detección de objetos no es comprensión de objetos. Un sistema que ve algo redondo y lo llama balón ha identificado una textura. Un sistema que rechaza esa identificación porque el "balón" ha estado suspendido a 1,70 metros de altura durante tres minutos: ese sistema comprende algo.

La cámara de Inverness no podía distinguir una cabeza de un balón porque no tenía ningún concepto de lo que hace un balón. Un balón de fútbol sigue un movimiento parabólico. Se acelera con el impacto. Se desplaza a velocidades de hasta 130 km/h. No puede estar unido al torso de un ser humano que se mueve al paso. Estas no son ideas exóticas: un niño que estuviera viendo el partido lo habría sabido. Pero la IA operaba en lo que la comunidad de visión por computador llama "inferencia independiente de fotogramas", procesando cada imagen como una captura aislada sin memoria de lo ocurrido antes ni expectativa de lo que debería venir después.

La noche en que comprendí que teníamos el mismo problema

Ojalá pudiera decir que llegué a la visión con restricciones físicas a través de alguna elegante intuición teórica. La verdad es más cruda. Estábamos construyendo un sistema de inspección de defectos para un cliente del sector de los semiconductores, y nuestro modelo marcaba motas de polvo como defectos en los circuitos. No de vez en cuando: constantemente. La tasa de falsos positivos estaba destruyendo la confianza del equipo de producción en el sistema, y tenían toda la razón en desconfiar.

Recuerdo estar sentado frente a los resultados a las 2 de la madrugada, furioso, porque nuestro modelo era preciso según cada métrica de referencia que monitorizábamos. Identificaba los defectos correctamente más del 90% de las veces en datos de prueba estándar. Pero el entorno de producción no eran datos de prueba estándar. El polvo caía sobre las obleas. La iluminación cambiaba entre las estaciones de inspección. El modelo veía un punto oscuro y lo llamaba defecto, igual que la cámara de Inverness veía una forma redonda y la llamaba balón.

Mi CTO y yo discutimos durante una semana sobre la solución. Él quería más datos de entrenamiento. Yo quería cambiar la arquitectura. La discusión terminó cuando hice una simple pregunta: "¿Sabe nuestro modelo que una partícula de polvo y un defecto en un circuito se comportan de manera diferente bajo imágenes multiángulo?". No lo sabía. Un defecto real —un hueco o un arañazo físico en el silicio— cambia de posición de forma predecible cuando se toman imágenes desde distintos ángulos. Paralaje. Una partícula de polvo posada en la superficie se comporta de otra manera. Le estábamos pidiendo a un comparador de texturas que hiciera el trabajo de un físico.

Ese fue el punto de inflexión. Dejamos de intentar hacer que la red neuronal fuera más inteligente y empezamos a hacer que obedeciera las leyes de la física.

La demostración que salió al revés

Tres meses después del giro en semiconductores, me encontraba en una sala de conferencias presentando nuestro nuevo enfoque a una empresa de logística. Quince personas al otro lado de la mesa. Había preparado una demo en directo que mostraba a nuestro rastreador con restricciones físicas siguiendo un paquete a través de un almacén simulado, prediciendo su posición a través de oclusiones y rechazando falsas detecciones.

La demo empezó de forma impecable. De repente sonó el teléfono de alguien y un destello de luz reflejada de la pantalla dio en nuestra cámara exactamente en el ángulo equivocado. El rastreador titubeó. El cuadro delimitador saltó a una lámpara del techo y se quedó allí durante tres agónicos segundos antes de que la capa de física lo corrigiera.

Me quedé allí parado viendo cómo mi propio software fallaba exactamente de la forma en que me había pasado meses afirmando que no lo haría. La sala se quedó en silencio. Deseé que la tierra me tragara.

La capa de física se recuperó. Esa era la clave. Pero en esos tres segundos comprendí algo que ningún benchmark me había enseñado jamás: en producción, la confianza no depende de la precisión media. Depende de lo que sucede en el peor fotograma.

Lo dije en voz alta, mitad para la sala y mitad para mí mismo. "Un sistema genérico seguiría rastreando esa lámpara del techo. El nuestro corrigió. Esa recuperación es el producto". El CTO al otro lado de la mesa asintió lentamente. Firmaron dos semanas después. Pero esa noche volví a casa y reescribí nuestra lógica de visualización de confianza para que el sistema mostrara su incertidumbre en tiempo real, porque no quería volver a estar nunca más frente a un cliente fingiendo que las matemáticas eran magia.

¿Por qué fallan en producción los sistemas de IA con un 90% de precisión?

Hay una trampa que ahora llamo el "problema del 90%", y veo a una empresa tras otra caer en ella. Las API genéricas de visión por computador —del tipo que se puede poner en marcha con cualquier proveedor importante de la nube en una tarde— te llevan al 90% de precisión de forma rápida y económica. En una demo parecen mágicas. Todo el valor empresarial reside en el último 10%.

Ese último 10% es donde están las cabezas calvas. Las sombras que a un vehículo autónomo le parecen muros, provocando frenadas fantasma en una autopista. El momento en que la mano de un cliente tapa un producto en una tienda sin cajeros. El defecto poco común en un semiconductor que parece idéntico a una inofensiva partícula de polvo de 2 nanómetros.

En la fabricación de semiconductores, mejorar la precisión en la detección de defectos en apenas un 1% puede generar un aumento del rendimiento del 5-10%, ahorrando millones anualmente. En vehículos autónomos, los propietarios de Tesla han reportado incidentes generalizados de frenado fantasma donde los sistemas de visión malinterpretan sombras y pasos elevados como obstáculos. Estos no son riesgos teóricos. Son fallos en producción que están ocurriendo ahora mismo, en múltiples industrias, porque la IA subyacente carece de intuición física. Nuestro trabajo cierra esa brecha del 90% al 99,99% añadiendo la capa de física de la que carecen las API genéricas.

Cómo enseñamos a nuestros sistemas a pensar como físicos

La idea central es engañosamente sencilla: tratar la salida de una red neuronal no como un hecho, sino como una medición ruidosa que debe validarse frente a la física. Escribí sobre la arquitectura técnica completa en la versión interactiva de nuestra investigación, pero la intuición importa más que las matemáticas.

Imagina que estás rastreando un balón de fútbol. Tu cámara dice que el balón está en el centro del campo, moviéndose hacia el este a 20 metros por segundo. Una cuadragésima de segundo después, tu cámara dice que el "balón" está ahora a 15 metros, en la banda, moviéndose a paso de persona. Un filtro de Kalman —un marco matemático que mantiene una estimación continua de dónde está un objeto, a qué velocidad se mueve y con qué grado de certeza respecto a ambos factores— rechazaría esa segunda medición al instante. La aceleración implícita es físicamente imposible para un balón de fútbol. El sistema calcula lo que se denomina distancia de Mahalanobis: esencialmente, a cuántas desviaciones estándar se encuentra la nueva medición respecto a la predicción. Si supera los 3 sigmas, la detección se descarta, independientemente de la confianza que tenga la red neuronal sobre esos píxeles.

A esto me refiero con visión con restricciones físicas. La red neuronal propone. La física dispone.

Aplicamos múltiples capas de control sobre cada detección. Una puerta cinemática comprueba si el objeto podría estar físicamente donde la red dice que está. Una puerta de flujo óptico verifica que el movimiento de los píxeles dentro del cuadro delimitador coincide con lo que cabría esperar de un objeto real en movimiento: un juez de línea inmóvil genera un flujo casi nulo, mientras que un balón en vuelo genera un patrón característico. Una puerta geométrica comprueba si el tamaño aparente del objeto es coherente con la perspectiva 3D a la distancia a la que afirma encontrarse de la cámara.

Cualquier detección que falle en cualquier puerta es rechazada. Sin excepciones, sin anulaciones manuales.

¿Qué ocurre cuando el objeto desaparece?

Los sistemas genéricos entran en pánico. La puntuación de confianza cae a cero. El rastreador declara el objeto "perdido" y se congela o se reinicia. En el mundo físico, esto es absurdo. Un balón que se mueve a 20 metros por segundo no deja de existir porque un jugador se cruce delante de la cámara. Sigue moviéndose, desacelerando ligeramente por la resistencia del aire, siguiendo una trayectoria que la física puede predecir con notable precisión.

Nuestros sistemas mantienen el objeto en memoria durante la oclusión, proyectando su posición hacia adelante basándose en la trayectoria previa a la oclusión. Cuando el objeto reaparece, el sistema ya está mirando en el lugar correcto. Lo considero como dotar a la IA de permanencia del objeto. Mi sobrino de dos años comprendió esto hacia el octavo mes de vida. La mayoría de los sistemas de visión en producción todavía no lo han logrado.

"Basta con usar un modelo más grande"

La gente me dice esto constantemente. Un inversor me lo dijo textualmente durante una presentación en 2023, recostándose en su silla como si acabara de resolver todo nuestro problema técnico: "¿Por qué no simplemente ajustar un modelo fundacional? ¿Por qué construir todo esto de la física?".

Hice una pausa. "Porque la física no cambia cuando la distribución de tus datos de entrenamiento cambia".

Una PINN no solo aprende de los datos. Aprende de datos restringidos por la realidad. La diferencia es como la que existe entre memorizar respuestas y comprender la materia.

Las redes neuronales informadas por la física (PINN, por sus siglas en inglés) son una de las ideas más elegantes del aprendizaje automático moderno. Una red neuronal estándar minimiza la diferencia entre sus predicciones y los datos de entrenamiento etiquetados. Una PINN añade una segunda penalización: la red también es castigada cada vez que sus predicciones violan una ecuación física. Si predice una trayectoria en la que un balón gira en el aire sin ninguna fuerza externa, la ecuación diferencial que lo rige se incumple, la pérdida se dispara y la red aprende a no hacer eso.

La consecuencia práctica es radical. Una PINN necesita muchos menos datos de entrenamiento porque las leyes de la física eliminan la mayor parte del espacio de soluciones antes de que comience el entrenamiento. Se generaliza a condiciones que nunca ha visto porque ha interiorizado las reglas, no solo memorizado los ejemplos. Para nuestro trabajo en el seguimiento deportivo, esto significa que podemos predecir el efecto de un lanzamiento flotante o un tiro libre con comba a partir de la trayectoria inicial: la cámara enfoca por delante de la acción en lugar de perseguirla. Para un desglose técnico completo de las PINN y las redes neuronales hamiltonianas, profundizo más en nuestro artículo de investigación.

La pregunta de construir frente a comprar que nadie se plantea con honestidad

Todos los líderes empresariales con los que hablo se enfrentan a la misma disyuntiva: comprar una API de visión estándar o construir algo a medida. La versión honesta de esta conversación, que rara vez ocurre, es la siguiente.

Comprar te permite llegar a producción con rapidez. La API funciona desde el primer día. Gestiona bien los casos estándar. El coste total de propiedad parece bajo en una hoja de cálculo.

Luego llegan los casos límite. Los falsos positivos se acumulan. Contratas a personas para revisar el trabajo de la IA, lo que anula su propósito. Descubres que el modelo del proveedor no se puede ajustar a tu física específica. Te das cuenta de que tus datos están saliendo de tus instalaciones. Y no has generado ninguna propiedad intelectual.

Construir un sistema con restricciones físicas cuesta más de entrada. Requiere ingeniería real. Pero la tasa de falsos positivos disminuye en órdenes de magnitud porque la física filtra el ruido que los datos por sí solos no pueden eliminar. El sistema se ejecuta en tu infraestructura, con tus datos, produciendo modelos que te pertenecen. El coste total de propiedad a largo plazo favorece la construcción a medida para cualquier aplicación donde los errores resulten caros, lo que, en mi experiencia, incluye toda aplicación que merezca la pena automatizar.

No estoy diciendo que todas las empresas deban construir desde cero. Lo que digo es que si tu IA no puede distinguir un balón de una cabeza calva, la cuota de suscripción es el menor de tus costes.

El contexto es la nueva precisión

El año pasado me senté en la última fila de una conferencia y escuché a un panel debatir si la IA necesita "sentido común". Cuatro investigadores, cuarenta y cinco minutos, ningún acuerdo. No dejaba de pensar: no necesitamos sentido común. Necesitamos física. El sentido común es vago. La física es un conjunto de ecuaciones que puedes programar en código.

La industria de la IA ha pasado una década optimizando la precisión en conjuntos de datos de referencia. Modelos con miles de millones de parámetros pueden identificar miles de categorías de objetos con precisión sobrehumana en imágenes de prueba que se parecen a las imágenes de entrenamiento. La próxima década pertenece al contexto. No modelos más grandes, sino restricciones más inteligentes. No más parámetros, sino más física.

¿Sabe tu IA la diferencia entre un balón y una cabeza? Si solo depende de los píxeles, la respuesta es "a veces". Si depende de la física, la respuesta es "siempre".

Pienso en ese partido de fútbol escocés más de lo que probablemente debería. Un hombre calvo parado en una banda, ocupándose de sus propios asuntos, exponiendo accidentalmente la fragilidad fundamental de toda una generación de sistemas de IA. Los aficionados que se perdieron los goles estaban frustrados. Yo estaba agradecido. Ese juez de línea me enseñó más sobre cómo construir IA real que cualquier artículo que haya leído.

El futuro de la visión por computador no consiste en ver más. Consiste en entender lo que ves.