Un abuelo pasó diez días en la cárcel porque un algoritmo dijo que era culpable

Estaba en una llamada con un cliente potencial —una cadena minorista de tamaño medio— cuando su vicepresidente de Prevención de Pérdidas dijo algo que me revolvió el estómago.

"Estamos considerando un proveedor de reconocimiento facial. Dicen que su sistema tiene un 98% de precisión. Solo necesitamos que alguien lo conecte."

Hice una sola pregunta: "¿Un 98% de precisión sobre los rostros de quién?"

Silencio.

Esa conversación ocurrió semanas después de que hubiera estado leyendo la demanda de la FTC contra Rite Aid —sus 54 páginas completas— y la demanda de 10 millones de dólares presentada por Harvey Eugene Murphy Jr., un abuelo de 61 años que pasó diez días en una cárcel de Houston por un robo cometido mientras él estaba en su casa en Sacramento, California. Un sistema de reconocimiento facial lo identificó. El sistema se equivocó. Para cuando alguien se molestó en comprobarlo, Murphy había sido golpeado y agredido sexualmente tras las rejas.

Recuerdo estar sentado en mi oficina esa noche, releyendo los detalles del caso de Murphy, y sintiendo algo que no suelo sentir cuando leo informes de fallos técnicos: rabia. No contra el algoritmo —los algoritmos no tienen intención—. Contra los humanos que lo desplegaron como si fuera un lector de códigos de barras. Contra la arquitectura que hizo esto inevitable.

Dirijo Veriprajna. Construimos lo que yo llamo "deep AI": sistemas con cuantificación de la incertidumbre, gobernanza multiagente e ingeniería rigurosa por debajo. Lo opuesto a lo que hizo que prohibieran a Rite Aid y arrestaran a Harvey Murphy. Y necesito explicarte por qué la diferencia importa más de lo que la mayoría de la gente de esta industria quiere admitir.

Lo que pasó en Rite Aid no fue un fallo puntual: fue una decisión de diseño

En diciembre de 2023, la FTC hizo algo sin precedentes: prohibió a Rite Aid usar tecnología de reconocimiento facial durante cinco años. No la multó. No le advirtió. La prohibió.

Entre 2012 y 2020, Rite Aid había desplegado vigilancia con reconocimiento facial basado en IA en cientos de tiendas. La idea era sencilla: identificar a ladrones conocidos, alertar a seguridad, reducir los hurtos. La ejecución fue una catástrofe.

Rite Aid compró su reconocimiento facial a dos proveedores externos. Los contratos de ambos proveedores renunciaban expresamente a cualquier garantía sobre la precisión. Léelo de nuevo. Las empresas que vendían la tecnología ni siquiera prometían que funcionara. Y Rite Aid la desplegó de todos modos, en tiendas llenas de personas reales, con consecuencias reales por ser identificado falsamente.

Nadie en Rite Aid probó la precisión del sistema. Nadie comprobó si los proveedores lo habían probado. Nadie implementó controles de calidad de imagen. Los empleados de las tiendas introducían fotogramas granulosos de CCTV y fotos de teléfonos móviles en la base de datos de registro, y el sistema "emparejaba" diligentemente esas imágenes degradadas con cada rostro que cruzaba la puerta.

Los resultados eran predecibles para cualquiera que entienda de ingeniería biométrica, y devastadores para quien no. Miles de falsos positivos. Clientes inocentes seguidos por los pasillos, cacheados, acusados públicamente de robo. Y aquí está la parte que debería hacer detenerse a todo líder empresarial: las falsas alertas apuntaban desproporcionadamente a mujeres y personas de color. Las tiendas en comunidades de mayoría negra y asiática registraban muchas más coincidencias falsas que las tiendas en comunidades de mayoría blanca.

Esto no era un error. Era el resultado inevitable de modelos sin calibrar, entrenados con conjuntos de datos no representativos, desplegados sin monitorización, sobre imágenes degradadas y sin ningún proceso de revisión humana digno de ese nombre.

¿Por qué acabó en la cárcel un abuelo de 61 años?

El caso de Harvey Murphy es peor, porque la cadena de fallos es más larga y el coste humano es más visceral.

En enero de 2022, alguien robó una tienda Sunglass Hut en Houston. EssilorLuxottica, la empresa matriz, colaboró con Macy's para aplicar reconocimiento facial a las imágenes de vigilancia de la tienda. El sistema emparejó las granulosas imágenes del robo con una base de datos que aparentemente contenía la foto de fichaje de Murphy por delitos no violentos cometidos décadas atrás.

Quiero que retengas dos hechos en tu mente de forma simultánea. Primero: Murphy estaba en Sacramento, California, el día del robo. Segundo: el sistema comparó imágenes de vigilancia actuales con una foto tomada años —posiblemente décadas— antes. Los estudios han demostrado que comparar imágenes actuales con fotos envejecidas puede producir tasas de falsos positivos de hasta el 90%. Esto se conoce como el problema de la "brecha de edad" (age-gap), y cualquiera que despliegue reconocimiento facial en un contexto de aplicación de la ley debería conocerlo.

Pero esto es lo que me atormenta de este caso. Según la demanda, Sunglass Hut y Macy's presentaron la coincidencia automatizada a las autoridades como un hecho verificado. No como una pista. No como una probabilidad. Como una identificación. La policía dejó de investigar. Tenían a su hombre.

Cuando el resultado de una máquina se trata con más autoridad que la coartada de un ser humano, hemos cruzado una línea que ninguna mejora de precisión puede reparar.

Murphy fue arrestado. Les dijo que no estaba en Texas. No importó. Pasó diez días en la cárcel antes de que la oficina del Fiscal de Distrito confirmara su coartada. Para entonces, el daño ya estaba hecho: físico, psicológico, permanente.

Mi equipo y yo pasamos una tarde repasando los detalles técnicos de este caso, intentando reconstruir cómo era probablemente la arquitectura del sistema. Imágenes de entrada de baja resolución. Una foto de galería envejecida. Casi con certeza un modelo de identificación de conjunto cerrado, del tipo optimizado para encontrar siempre una "mejor coincidencia", incluso cuando la persona real no está en la base de datos. Sin cuantificación de la incertidumbre. Sin umbrales de confianza. Sin ninguna revisión humana significativa entre el resultado del algoritmo y un hombre perdiendo su libertad.

Cada uno de esos fallos era evitable. No con una IA mejor. Con una mejor arquitectura.

¿Qué es el problema del "wrapper" y por qué debería importarte?

Aquí necesito ponerme técnico por un momento, porque el patrón detrás de ambos desastres es el mismo patrón que veo en empresa tras empresa.

La mayoría de las empresas que despliegan IA hoy usan lo que la industria llama "wrappers". Un wrapper es una interfaz de marca —un panel, una aplicación, una herramienta de flujo de trabajo— que se sitúa encima del modelo de IA de otra persona. Envías datos a una API de terceros, esta devuelve un resultado y tú se lo muestras a tu usuario. La empresa del wrapper no construye el modelo. No lo entrena. No entiende sus modos de fallo. No controla sus actualizaciones.

Rite Aid ejecutaba un wrapper. Una fina capa de flujo de trabajo de seguridad minorista sobre las APIs de reconocimiento facial de caja negra de los proveedores. Cuando esas APIs producían basura, Rite Aid no tenía forma de saberlo, ni de intervenir y —como dejó claro la FTC— ni de escapar de la responsabilidad.

Esta es la asimetría que mata a las empresas: asumes el 100% de la responsabilidad por un sistema del que tienes el 0% de visibilidad.

He escrito en profundidad sobre esta división arquitectónica en la versión interactiva de nuestra investigación, pero el argumento central es simple. Los wrappers están bien para aplicaciones de bajo riesgo. Resumir notas de reuniones. Generar textos de marketing. Cosas en las que una respuesta equivocada es molesta, no ruinosa.

Pero en el momento en que tu sistema de IA puede lograr que arresten a alguien, le nieguen un préstamo, lo despidan o lo humillen públicamente —y el reconocimiento facial en el comercio minorista puede hacer todas esas cosas—, un wrapper es una bomba de responsabilidad con una cuenta atrás.

¿Cómo se construye una IA que sabe cuándo no sabe?

Hay un momento al que sigo volviendo. Estábamos construyendo un pipeline de identificación para un cliente, y una de mis ingenieras pasó un lote de imágenes de prueba por el sistema. Las cifras de precisión se veían estupendas, por encima del 95%. Todos estaban contentos. Entonces le pedí que ejecutara el mismo lote con las distribuciones de confianza visibles.

La sala se quedó en silencio.

Una parte significativa de esas identificaciones "correctas" tenía distribuciones de incertidumbre tan amplias que eran esencialmente lanzamientos de moneda que por casualidad salieron bien. El modelo estaba adivinando con confianza, no identificando de forma fiable. Si hubiéramos entregado ese sistema con solo la puntuación de precisión, no habríamos sido diferentes de los proveedores que le vendieron su software a Rite Aid.

Este es el problema central de cómo se despliega la mayoría de la IA: cada resultado se trata como una verdad binaria cuando en realidad es una estimación probabilística. El modelo no dice "este es John Smith". Dice "según lo que he visto, hay un X% de probabilidad de que sea John Smith, más o menos Y". Pero la mayoría de los sistemas descartan la parte del "más o menos Y" y solo te muestran la X.

En Veriprajna, incorporamos lo que se denomina Cuantificación de la Incertidumbre (UQ) en cada sistema de alto riesgo. Hay dos tipos de incertidumbre que importan:

La incertidumbre aleatoria proviene del ruido en los propios datos: mala iluminación, desenfoque por movimiento, una lente de cámara rayada. No puedes eliminarla con entrenamiento. Si a la imagen le falta información, ningún modelo del mundo puede alucinarla de vuelta de forma fiable.

La incertidumbre epistémica proviene de las propias limitaciones del modelo: no ha visto suficientes ejemplos de un grupo demográfico concreto, o nunca se ha encontrado con esta condición de iluminación específica. Esta sí puede reducirse con mejores datos de entrenamiento.

Los sistemas frágiles —los wrappers— no distinguen entre estas. Un sistema podría reportar un 85% de confianza en una coincidencia, y eso suena sólido. Pero nuestra capa de UQ podría revelar que la distribución de incertidumbre en torno a ese 85% es enorme, lo que significa que el número carece de sentido estadístico dada la calidad de la entrada.

Un sistema de IA que no puede decirte cuán incierto es no es una herramienta: es una trampa.

Usamos técnicas como la predicción conforme para garantizar que las estimaciones de incertidumbre del sistema caigan dentro de límites matemáticamente demostrables. Los detalles técnicos están en nuestro artículo de investigación completo, pero la conclusión práctica es esta: antes de que el sistema emprenda cualquier acción, puede decirte si su respuesta es fiable. Y si no lo es, la escala a un humano.

El problema del conjunto abierto del que nadie habla

Aquí hay algo que todavía me sorprende cuando hablo con compradores empresariales: casi ninguno conoce la diferencia entre el reconocimiento de conjunto cerrado y el de conjunto abierto.

Un sistema de conjunto cerrado asume que la persona escaneada está definitivamente en la base de datos. Piensa en desbloquear tu teléfono: el teléfono sabe que tu rostro está registrado. Solo necesita verificar que eres tú.

Un sistema de seguridad para comercios es lo contrario. La gran mayoría de las personas que entran en una tienda no están en ninguna base de datos criminal. Esto es un problema de conjunto abierto. Y aquí está el desajuste catastrófico: la mayoría del software comercial de reconocimiento facial está optimizado para el rendimiento en conjunto cerrado, porque ahí es donde los benchmarks lucen impresionantes.

¿Qué pasa cuando despliegas un modelo de conjunto cerrado en un entorno de conjunto abierto? Intenta encontrar la "mejor coincidencia" para cada rostro, porque asume que debe existir una coincidencia. Esto es casi con certeza lo que generó los miles de falsos positivos en Rite Aid. El sistema no estaba funcionando mal. Estaba haciendo exactamente aquello para lo que fue diseñado, en un entorno para el que nunca fue diseñado.

Construir para conjunto abierto significa entrenar tu modelo no solo para identificar coincidencias, sino para rechazar con precisión las no coincidencias. Decir "No conozco a esta persona" con tanta precisión como dice "Reconozco a esta persona". Esto requiere funciones de pérdida diferentes, métricas de evaluación diferentes y una filosofía de diseño fundamentalmente distinta.

El NIST —el Instituto Nacional de Estándares y Tecnología— administra la Prueba de Proveedores de Reconocimiento Facial (FRVT), que es el estándar de referencia mundial para evaluar estos sistemas. El NIST mide la Tasa de Falsas No Coincidencias con una Tasa de Falsas Coincidencias fija. Para aplicaciones de alta seguridad, ese umbral de falsa coincidencia se fija en uno entre un millón. Uno entre un millón.

Rite Aid nunca se comparó con los estándares del NIST. Tampoco, al parecer, lo hizo el sistema que identificó a Harvey Murphy.

Desposesión de modelos (model disgorgement): la opción nuclear

Hay un detalle en el acuerdo de la FTC con Rite Aid que debería aterrorizar a toda empresa que construya IA sobre datos cuestionables.

A Rite Aid no solo se le dijo que dejara de usar reconocimiento facial. Se le ordenó eliminar todos los datos biométricos que había recopilado y destruir cualquier modelo o algoritmo de IA derivado de esos datos. La FTC lo llamó "model disgorgement" (desposesión de modelos): obligar a una empresa a, esencialmente, desaprender todo lo que sus modelos habían absorbido de datos no conformes.

Piensa en lo que eso significa a nivel operativo. Años de recopilación de datos. Modelos entrenados y refinados con el tiempo. Conocimiento institucional incrustado en los pesos de redes neuronales. Todo ello: desaparecido. No porque los modelos dejaran de funcionar, sino porque los datos sobre los que se construyeron se obtuvieron sin las salvaguardas adecuadas.

Esta es la nueva realidad regulatoria. Si tus datos de entrenamiento están viciados —recopilados sin consentimiento, sesgados en su composición u obtenidos violando leyes de privacidad—, los modelos construidos sobre esos datos también están viciados. Y los reguladores ahora tienen las herramientas para obligarte a destruirlos.

La mayoría de las arquitecturas de wrapper ni siquiera pueden realizar una eliminación quirúrgica de datos. No tienen el rastreo de procedencia necesario para saber qué datos influyeron en qué pesos del modelo. Los sistemas de deep AI, construidos pensando en el linaje de datos, sí pueden. No es una característica que aprecies hasta que la FTC llama a tu puerta.

Por qué el "humano en el bucle" no es solo una casilla que marcar

La gente siempre me pregunta si la solución es simplemente poner a un revisor humano delante de cada decisión de IA. La respuesta es sí, pero con una salvedad enorme. Un proceso de revisión humana mal diseñado es peor que no tener ninguna revisión, porque crea la ilusión de supervisión.

En Rite Aid, sí había humanos en el bucle. Los empleados de las tiendas recibían alertas automatizadas y se les indicaba que actuaran en consecuencia. Pero no tenían ninguna formación sobre las tasas de falsos positivos. Ninguna interfaz que les mostrara la calidad de la imagen original. Ningún protocolo para cuestionar el resultado del sistema. Eran, funcionalmente, meros sellos de goma para un algoritmo.

Diseñamos sistemas con humano en el bucle (HITL) con umbrales de confianza que enrutan las decisiones de forma adecuada. ¿Por debajo del 70% de confianza? Rechazo automático: no hagas perder el tiempo a un humano con ruido evidente. ¿Entre el 70% y el 95%? Marcar para revisión humana, con las imágenes de origen originales mostradas junto a la coincidencia, para que el revisor pueda emitir un juicio informado. ¿Por encima del 95% en una tarea de baja consecuencia? Aprobación automática, pero registrándolo todo.

La clave es que el revisor humano debe tener suficiente contexto para poder anular realmente a la máquina. Si todo lo que ven es "COINCIDENCIA — 87% de confianza", se remitirán al número cada vez. Si ven el granuloso fotograma de CCTV junto a la foto de galería y pueden detectar las diferencias evidentes —forma de oreja diferente, mandíbula diferente, una brecha de edad de 20 años—, se convierten en una red de seguridad genuina en lugar de una decorativa.

Tuve una discusión con el CTO de un cliente sobre esto. Quería minimizar la revisión humana para reducir costes. Le dije que el coste de una sola demanda como la de Harvey Murphy superaría una década de salarios de revisores humanos. No le gustó oírlo. Pero tampoco lo demandaron.

Los muros regulatorios se están cerrando

La Ley de IA de la UE clasifica los sistemas de identificación biométrica como de alto riesgo por defecto. Evaluaciones de conformidad obligatorias. Documentación técnica detallada. Supervisión humana efectiva, no la del tipo Rite Aid, sino la de verdad. Ciertos usos, como extraer imágenes faciales de internet para datos de entrenamiento, están prohibidos por completo.

En EE. UU., el Marco de Gestión de Riesgos de IA del NIST establece cuatro funciones —Gobernar, Mapear, Medir, Gestionar— que juntas conforman el plano para un despliegue responsable de IA. La acción de la FTC contra Rite Aid fue esencialmente una aplicación de estos principios antes de que se convirtieran en ley formal. El mensaje es claro: si no puedes explicar cómo funciona tu IA, no puedes medir sus sesgos y no puedes gestionar sus fallos, se te exigirán responsabilidades.

A cada consejo de administración que asesoro le digo lo mismo: alinéate con los estándares de la Ley de IA de la UE ahora, aunque solo operes en EE. UU. La regulación nacional se acerca, y las empresas que trataron el cumplimiento como un problema del futuro van a encontrarse en la posición de Rite Aid: corriendo a destruir modelos y reconstruir desde cero bajo un decreto de consentimiento.

El sesgo no está en el algoritmo, está en la pereza

Algo que me frustra de la conversación pública en torno al sesgo de la IA es la insinuación de que el sesgo es una propiedad misteriosa e intratable de la inteligencia artificial. No lo es. Es el resultado de atajos de ingeniería específicos e identificables.

¿Entrenas un modelo con un conjunto de datos que es 80% rostros de piel clara? Rendirá peor con rostros de piel oscura. ¿Te saltas la eliminación de sesgos por adversarios —la técnica en la que entrenas una red competidora para detectar si tu modelo está usando la raza o el género como una característica oculta—? Tu modelo codificará esos sesgos de forma invisible. ¿Despliegas sin realizar pruebas entre grupos demográficos usando los datos de referencia del NIST? Ni siquiera sabrás que el sesgo existe hasta que alguien salga perjudicado.

El sesgo algorítmico no es un misterio. Es lo que ocurre cuando los ingenieros optimizan la velocidad en lugar de la equidad, y las organizaciones optimizan el coste en lugar de la seguridad.

Cada uno de estos problemas tiene una solución técnica conocida. Eliminación de sesgos por adversarios. Restricciones de equidad en la función de pérdida. Fusión de características multiescala para manejar distintos tonos de piel y condiciones de iluminación. Detección de ataques de presentación para atrapar intentos de suplantación. No son teóricos: hoy están desplegados en sistemas de producción. Incluidos los nuestros.

La razón por la que la mayoría de las empresas no los implementan es la misma por la que Rite Aid no probó la precisión de su proveedor: cuesta más, lleva más tiempo y nadie te obliga a hacerlo. Hasta que lo hacen. Y entonces cuesta todo.

Lo que realmente pienso sobre el futuro de la IA empresarial

He pasado años construyendo sistemas diseñados para dudar de sí mismos antes de actuar. Puede sonar extraño que lo diga el fundador de una empresa de IA. ¿No debería estar vendiendo confianza?

No. Vendo calibrada confianza. Hay una diferencia.

Las empresas que sobrevivirán a la próxima década de regulación y responsabilidad de la IA son las que construyen sistemas capaces de decir "No lo sé" con la misma precisión con la que dicen "Estoy seguro". Que tratan cada resultado automatizado como una hipótesis por validar, no como un veredicto por ejecutar. Que diseñan su arquitectura para el peor de los casos —el caso de Harvey Murphy—, no para el caso de la demostración.

Rite Aid perdió sus capacidades biométricas durante cinco años y tuvo que destruir sus modelos. Macy's y Sunglass Hut se enfrentan a una demanda de 10 millones de dólares y al tipo de daño reputacional que ninguna agencia de relaciones públicas puede deshacer. No son relatos aleccionadores de los primeros días de una tecnología arriesgada. Están ocurriendo ahora, con sistemas que las empresas compraron ya hechos y desplegaron sin entenderlos.

La era del wrapper en la IA empresarial está llegando a su fin. No porque los wrappers no funcionen: funcionan bien para tareas de bajo riesgo. Sino porque lo que está en juego sigue aumentando, las regulaciones siguen endureciéndose y el coste de una respuesta equivocada dada con confianza sigue creciendo.

Harvey Murphy estaba en Sacramento. El algoritmo dijo que estaba en Houston. Y durante diez días, el algoritmo ganó.

Eso no es un problema de IA. Es un problema de arquitectura. Y la arquitectura es una elección.