La IA vio una inundación que no existía y costó una fortuna

Estaba mirando fijamente una imagen satelital de una autopista en el Sudeste Asiático cuando sentí por primera vez el tipo específico de pavor que produce ver a una IA equivocarse catastróficamente con total confianza.

La imagen mostraba una forma oscura e irregular extendida sobre el asfalto: inequívocamente agua, al menos para el modelo. El sistema la marcó como una inundación. Se activó el redireccionamiento automático. Cincuenta camiones fueron desviados a carreteras secundarias, sumando más de cien kilómetros a cada uno de sus trayectos. Las ventanas de entrega colapsaron. La carga perecedera empezó a degradarse. El daño financiero superó las seis cifras antes de que a alguien se le ocurriera comprobarlo.

La carretera estaba completamente seca.

Lo que el modelo había visto — lo que estaba seguro de haber visto — era la sombra de una nube. Una nube cúmulo que se desplazaba a dos mil metros, proyectando una mancha oscura sobre el suelo que parecía, para una IA que procesaba un solo fotograma satelital, exactamente agua estancada. Esto es lo que ahora llamo fallo de inferencia de fotograma único: el momento en que una IA, atrapada en un único instante congelado sin memoria de lo que vino antes o después, alucina una realidad que no existe. Y no es un caso extremo poco frecuente. Es la vulnerabilidad que define a casi todos los sistemas de visión por computadora desplegados hoy para la detección de inundaciones.

Ese incidente se convirtió en la razón de que exista mi equipo en Veriprajna. No para construir otro envoltorio alrededor de un modelo preentrenado. Para construir algo que realmente entienda lo que está mirando.

¿Por qué la IA confunde las sombras con el agua?

La respuesta es la física, y es vergonzosamente simple una vez que la ves.

Los satélites ópticos — Sentinel-2, Landsat, los que utilizan la mayoría de los sistemas de detección de inundaciones — capturan la luz solar reflejada en distintas longitudes de onda. El agua absorbe con fuerza la radiación del infrarrojo cercano y del infrarrojo de onda corta. Así que, en las imágenes satelitales, el agua aparece oscura.

Pero el agua no es dueña de la oscuridad. Las sombras de las nubes son oscuras. Las sombras del terreno de laderas empinadas son oscuras. El asfalto recién puesto es oscuro. Y para una red neuronal convolucional entrenada con imágenes estáticas, «forma amorfa oscura con bordes suaves» es la firma de una inundación. El modelo no sabe por qué los píxeles son oscuros. Solo sabe que son oscuros.

Aquí está lo que lo empeora: en escenarios de respuesta a desastres, estos modelos se ajustan deliberadamente para ser propensos a dispararse. Las funciones de pérdida penalizan las inundaciones no detectadas mucho más que las falsas alarmas. Así que el modelo peca por exceso de pánico. Cada sombra se convierte en una posible catástrofe.

La sombra de una nube se mueve a la velocidad del viento. El agua de una inundación obedece a la gravedad y al terreno. Pero un modelo de fotograma único no puede distinguir la diferencia porque nunca ha visto a ninguno de los dos moverse.

La investigación confirma que esto no es teórico. Las sombras de las nubes están documentadas como el «mayor desafío» para la detección automática de inundaciones casi en tiempo real mediante imágenes satelitales ópticas. En los conjuntos de datos de alta resolución, las sombras aparecen con frecuencia como elementos desprendidos —separados de la nube que las proyectó— lo que hace poco fiables los métodos de corrección geométrica, especialmente cuando se desconoce la altitud de la nube.

La noche que rompimos nuestro propio modelo

Quiero ser honesto sobre algo. Cuando empezamos a construir la detección de inundaciones en Veriprajna, cometimos el mismo error que comete todo el mundo. Tomamos una arquitectura de segmentación sólida, la ajustamos con imágenes de inundaciones etiquetadas y obtuvimos cifras que se veían estupendas en el conjunto de validación. Precisión por encima del 90 %. Estábamos encantados.

Luego la desplegamos en un flujo en vivo de Sentinel-2 sobre una región propensa al monzón en la India.

La primera semana, marcó once inundaciones. Tres eran reales. El resto eran sombras, campos agrícolas oscuros tras el riego, y un tramo de carretera recién pavimentada. Mi ingeniero principal me llamó a medianoche, frustrado, diciendo que el modelo «veía agua por todas partes como una varita de zahorí».

Pasamos los dos días siguientes revisando manualmente cada falso positivo. Y volvíamos una y otra vez a la misma constatación: el modelo no tenía ningún concepto del tiempo. Miraba cada fotograma como una fotografía sacada del carrete de un desconocido: sin contexto, sin antes, sin después. Un analista humano, ante la misma mancha oscura, cambiaría instintivamente a la imagen anterior. Vería la forma oscura desplazarse hacia el este a cincuenta kilómetros por hora y pensaría: eso es la sombra de una nube, no una inundación. Nuestro modelo no podía hacer eso. No tenía memoria.

Ese fue el punto de inflexión. Dejamos de intentar construir un mejor clasificador de fotograma único y empezamos a diseñar algo fundamentalmente distinto: un sistema que trata el tiempo como una dimensión de la realidad, no como una variable incómoda.

Escribí sobre este cambio arquitectónico en profundidad en la versión interactiva de nuestra investigación.

¿Qué ocurre cuando le das memoria a una IA?

Un analista humano verifica una sospecha de inundación esperando. Comprueba la siguiente imagen. Rebobina. La sombra de una nube se transforma y desaparece en minutos. El agua de una inundación persiste durante horas o días, extendiéndose lentamente según la gravedad y la resistencia del terreno.

La consistencia temporal es la verdad fundamental que la inferencia de fotograma único desecha.

En Veriprajna, nuestra entrada no es una imagen. Es un tensor de datos de series temporales: una secuencia de fotogramas en la que el modelo observa cómo evolucionan los píxeles. Utilizamos redes neuronales convolucionales 3D, donde el núcleo de convolución tiene una dimensión temporal. En lugar de deslizarse por el alto y el ancho, se desliza por el alto, el ancho y el tiempo.

El efecto es profundo. Un píxel que es brillante, luego oscuro, y luego brillante de nuevo se marca como una anomalía transitoria: una sombra que pasa. Un píxel que pasa de vegetación a agua y permanece como agua fotograma tras fotograma se clasifica como inundación. El gradiente temporal cuenta la historia que un solo fotograma nunca podría contar.

Para los patrones a más largo plazo —una inundación que evoluciona a lo largo de días, no de minutos— añadimos por capas redes LSTM convolucionales. Estas preservan la estructura espacial de las imágenes (a diferencia de las LSTM estándar que aplanan todo en vectores unidimensionales) mientras mantienen una «memoria» del estado de la inundación. La puerta de olvido descarta el ruido transitorio. La puerta de entrada admite el cambio persistente. El modelo no solo dice «se está inundando». Puede predecir «se inundará aquí en dos horas», dando a los operadores logísticos un tiempo de anticipación genuino.

Cuando añadimos profundidad temporal, nuestra tasa de falsos positivos por clasificación errónea de sombras se redujo en un 85 %. No porque construyéramos un mejor clasificador, sino porque dejamos de hacer la pregunta equivocada.

También modelamos la propagación de las inundaciones a lo largo de las redes viales mediante redes neuronales convolucionales de grafos espacio-temporales. Las carreteras no son cuadrículas de píxeles; son grafos conectados. Si un nodo aguas arriba se inunda, la red aprende a aumentar la probabilidad de inundación en los nodos aguas abajo en función de los gradientes de elevación y la capacidad de drenaje, incluso antes de que el agua aparezca en las imágenes satelitales. Esto nos permite integrar las lecturas de los medidores de nivel de los ríos, los datos de velocidad del tráfico y los pronósticos meteorológicos directamente en el flujo de inferencia visual.

El radar que ve a través de las nubes

Aquí está la cruel ironía de la detección de inundaciones: las inundaciones vienen con tormentas, y las tormentas vienen con nubes. Las mismas condiciones que causan las inundaciones son las que ciegan a los satélites ópticos.

Aquí es donde la fusión de sensores se vuelve innegociable. El radar de apertura sintética —SAR— es un sensor activo. Emite sus propios pulsos de microondas y escucha el eco. Las microondas atraviesan las nubes, la lluvia y el humo. Funcionan de día y de noche. Y, algo crucial, interactúan con el agua de forma distinta a como lo hace la luz óptica.

La sombra de una nube es invisible para el radar. El radar aporta su propia iluminación: no le importa lo que esté haciendo el sol. Así que cuando el sensor óptico ve oscuridad y el radar ve una superficie rugosa y seca con alta retrodispersión, la respuesta es clara: sombra. Cuando ambos sensores coinciden en una superficie lisa y especular con baja retrodispersión, la respuesta es igualmente clara: agua.

Simple en principio. Brutalmente complejo en la ejecución.

¿Por qué no puedes simplemente promediar dos sensores juntos?

Esta es la pregunta que me hacen con más frecuencia, y la respuesta revela por qué la mayoría de los enfoques de «fusión» son puro teatro.

No puedes apilar las bandas ópticas y SAR en un único tensor de entrada y esperar que la red lo resuelva. Las distribuciones estadísticas son fundamentalmente distintas: valores de píxeles RGB frente a mediciones de retrodispersión en decibelios. No puedes entrenar modelos separados y promediar sus mapas de probabilidad, porque eso pasa por alto las interacciones a nivel de características donde ocurre la verdadera desambiguación.

Lo que construimos en su lugar es un mecanismo de atención intermodal. El codificador óptico y el codificador SAR extraen características de forma independiente a través de corrientes paralelas. Luego, a múltiples escalas, un bloque de atención cruzada permite que cada modalidad «atienda» a la otra. El modelo calcula, píxel a píxel, qué sensor es más fiable en cada momento.

Cuando las características ópticas exhiben la huella estadística del ruido de las nubes —alta varianza, baja correlación espectral— la puerta de atención desplaza el peso hacia la señal del radar. En entornos urbanos donde el SAR tiene dificultades con los artefactos de doble rebote de los edificios, la puerta vuelve a inclinarse hacia los datos ópticos. No es un promedio. Es una selección dinámica de fuentes.

La IA no fusiona los datos. Elige activamente a qué sensor creer, para cada píxel, en cada fotograma.

Un problema práctico que tuvimos que resolver: Sentinel-1 y Sentinel-2 no sobrevuelan el mismo punto al mismo tiempo. Cuando ocurre una inundación durante una tormenta y solo hay datos SAR disponibles, usamos una red generativa antagónica para sintetizar cómo se vería la vista óptica a partir del retorno del radar. No se trata de fabricar datos, sino de darles a los analistas humanos un fotograma de referencia interpretable, ya que las imágenes de radar en bruto son notoriamente poco intuitivas de leer.

Para el desglose técnico completo de nuestra arquitectura de fusión y nuestra metodología de entrenamiento, consulta nuestro documento de investigación.

La discusión que casi dividió a mi equipo

Hubo una semana, al principio, en que mi equipo estaba genuinamente dividido. La mitad quería centrarse exclusivamente en el modelado temporal, con el argumento de que si tienes suficientes fotogramas a lo largo del tiempo, puedes desambiguar las sombras del agua usando solo datos ópticos. La otra mitad argumentaba que los datos temporales son inútiles cuando tienes cinco fotogramas nublados consecutivos, que es exactamente lo que ocurre durante las inundaciones que más necesitas detectar.

El debate se caldeó. Una ingeniera sacó imágenes de la temporada de monzones sobre Bangladés y mostró doce días seguidos en los que Sentinel-2 no captó más que las cimas de las nubes. «Tu modelo temporal está observando cómo evolucionan las nubes», dijo. «No tiene ni idea de lo que está pasando en el suelo».

Ella tenía razón. Y el bando temporal también tenía razón: cuando puedes ver el suelo, el tiempo es el discriminador más potente disponible.

La resolución no fue un compromiso. Fue la constatación de que ambos enfoques son incompletos por sí solos y transformadores juntos. El modelado espacio-temporal maneja los casos en los que tienes una visibilidad óptica intermitente. La fusión SAR maneja los casos en los que lo óptico está completamente bloqueado. Y el mecanismo de atención cruzada aprende, dinámicamente, qué combinación de evidencia debe confiar.

Bautizamos al flujo integrado como Chronos-Fusion. Procesa los datos SAR de Sentinel-1 y ópticos de Sentinel-2 a través de codificadores de doble corriente, los fusiona mediante atención cruzada a múltiples escalas, decodifica a través de una red de deconvolución 3D e impone la consistencia temporal mediante una función de pérdida que penaliza las predicciones físicamente imposibles, como que el agua aparezca y desaparezca en segundos, o que se acumule en una pendiente de 45 grados.

Nuestros puntos de referencia internos cuentan la historia:

• Línea base estática solo óptica: ~0,65 mIoU (media de Intersección sobre Unión)
• Línea base estática solo SAR: ~0,70 mIoU
• Chronos-Fusion espacio-temporal: >0,91 mIoU
• Consistencia temporal: 96 % de estabilidad de tendencia: sin parpadeos, sin inundaciones fantasma

¿Y qué hay de la multitud del «Usa simplemente un modelo fundacional»?

Escucho esto constantemente. Un inversor me dijo el año pasado, con total sinceridad: «¿No puedes simplemente ajustar SAM con algunas imágenes de inundaciones y lanzarlo?». SAM —el Segment Anything Model— es una tecnología impresionante. Pero es un motor de segmentación de propósito general. No entiende que el agua absorbe la radiación infrarroja cercana. No sabe que la retrodispersión del radar disminuye cuando una superficie se vuelve especular. Nunca ha aprendido que las sombras se mueven con el viento mientras que las inundaciones obedecen a la gravedad.

Estos enfoques de envoltorio —tomar un modelo preentrenado, ajustarlo con un pequeño conjunto de datos etiquetados, desplegar— producen demos impresionantes. Puntúan bien en conjuntos de validación cuidadosamente seleccionados. Y fallan en producción porque el mundo real es adversario de maneras que los conjuntos de datos limpios no lo son.

El modelo preentrenado no sabe que un campo oscuro en Punyab tras el riego se ve espectralmente idéntico a una inundación poco profunda. No sabe que las nubes del monzón en Kerala pueden persistir durante semanas, lo que hace inútil la detección solo óptica durante toda la duración del evento. No sabe que las imágenes SAR urbanas en Bombay producen artefactos de doble rebote de los edificios que imitan las firmas del agua.

Una IA de envoltorio hereda cada fallo de su preprocesamiento previo. Si la máscara de nubes pasa por alto una sombra, el modelo de segmentación la etiquetará con confianza como una inundación. Basura entra, basura confiada sale.

La distinción entre la IA de envoltorio y lo que construimos no es académica. Es la diferencia entre un sistema que funciona en una demo y un sistema que funciona cuando llega el monzón.

El verdadero costo no son los camiones redirigidos

Comencé este ensayo con un ejemplo logístico porque el daño financiero es tangible e inmediato. Pero el costo más profundo es la confianza.

Cuando un sistema de detección de inundaciones tiene una alta tasa de falsas alarmas, los operadores humanos dejan de creer en él. Empiezan a verificar manualmente cada alerta, reintroduciendo la latencia que se suponía que la IA eliminaría. Los equipos de respuesta a emergencias desarrollan lo que los investigadores llaman fatiga de alertas: una dinámica de «que viene el lobo» en la que las advertencias legítimas se retrasan o se ignoran porque las últimas cinco eran sombras.

En la respuesta a desastres, esto se mide en vidas. Desplegar equipos de búsqueda y rescate hacia un lugar seco —la sombra de una nube— deja esperando a las verdaderas víctimas de la inundación. La investigación demuestra que optimizar la «última milla» de la distribución de ayuda es crítico, y las señales de demanda falsas degradan la relación beneficio-costo de toda la operación.

En los seguros paramétricos, donde las pólizas se activan automáticamente en función de los datos satelitales («inundación detectada dentro de los 500 metros del Activo X»), la precisión es moneda legal. Un falso positivo desencadena un pago injustificado. Un falso negativo deniega una reclamación legítima. Nuestro sistema registra no solo la etiqueta de inundación, sino la cadena de evidencia espacio-temporal: el agua persistió durante seis horas, la retrodispersión del radar confirmó un cambio en la rugosidad de la superficie, el análisis temporal descartó la sombra. Eso es un rastro de auditoría forense, no una puntuación de probabilidad.

¿Cómo entrenas a una IA para que entienda una física que no puede ver?

La gente me pregunta esto, y la respuesta honesta es: no la entrenas directamente en física. La entrenas con enormes archivos de datos satelitales de series temporales donde la física es implícita.

Utilizamos el aprendizaje autosupervisado con imágenes no etiquetadas. El modelo ve una secuencia de fotogramas con el último enmascarado, y tiene que predecir lo que viene a continuación. A través de millones de estas predicciones, aprende que las nubes se mueven rápido y el agua se mueve despacio. Aprende que las sombras tienen gradientes temporales pronunciados y las inundaciones los tienen graduales. Aprende la física del cambio sin que jamás se le enseñen las leyes de Newton.

Luego lo ajustamos con los mejores conjuntos de datos etiquetados disponibles: Sen1Floods11 con sus 4.831 fragmentos etiquetados en 11 eventos de inundación globales, WorldFloods con 159 eventos de inundación que capturan morfologías diversas, AllClear con 4 millones de imágenes para la eliminación de nubes y sombras, UrbanSARFloods especializado en la pesadilla de los entornos urbanos. Ningún conjunto de datos por sí solo es suficiente. Cada uno lleva sus propios sesgos de etiquetado, y entrenar con todos ellos obliga al modelo a generalizar en lugar de memorizar.

La sombra no es el agua

Sigo volviendo a esa primera imagen. La forma oscura en la autopista. La confiada etiqueta roja: INUNDACIÓN. Los cincuenta camiones ya redirigiéndose para cuando alguien lo cuestionó.

El problema nunca fue que la IA fuera estúpida. El problema fue que le pedimos que entendiera un mundo de cuatro dimensiones mirando una instantánea de dos dimensiones. Le dimos una fotografía y le pedimos que nos contara una historia. Por supuesto que alucinó.

La era de la inferencia de fotograma único para decisiones de infraestructura crítica ha terminado. El cambio climático está acelerando la frecuencia de los fenómenos meteorológicos extremos, y la cobertura de nubes que los acompaña. Los sistemas que se quedan ciegos cuando llueve no son cautelosos. Son obsoletos.

Lo que construimos en Veriprajna no es un mejor clasificador. Es un tipo distinto de visión. Observamos el flujo del tiempo. Fusionamos el espectro electromagnético. Modelamos la física de cómo se comporta realmente el agua sobre el terreno, no cómo se agrupan los píxeles oscuros en un JPEG. Cuando el modelo de envoltorio vio una carretera inundada y entró en pánico, nuestro sistema comprobó el radar, rebobinó la cinta, verificó la consistencia temporal y liberó la ruta.

La sombra no es el agua. Pero nunca sabrás la diferencia si solo miras una vez.