¿Se puede confiar en el reconocimiento facial con IA? Una lección de 10 millones de dólares

El problema

Harvey Murphy, un abuelo de 61 años, pasó 10 días en la cárcel por un robo que no cometió. Estaba a 1500 millas de distancia cuando ocurrió. Un sistema de reconocimiento facial en Macy's hizo coincidir su rostro con las imágenes borrosas de las cámaras de vigilancia de un robo en Sunglass Hut en Houston. Murphy se encontraba en Sacramento, California. La IA dijo lo contrario, y la policía creyó a la máquina.

Durante esos 10 días en la cárcel, Murphy fue agredido sexualmente y golpeado. Sufrió lesiones de por vida. Desde entonces, ha presentado una demanda de 10 millones de dólares contra Macy's y la empresa matriz de Sunglass Hut, EssilorLuxottica. El sistema que lo identificó dependía de vídeos de vigilancia de baja resolución. Es probable que comparara esas imágenes con una foto de ficha policial de delitos no violentos cometidos décadas antes. Los estudios demuestran que comparar imágenes actuales con fotografías tomadas con años o décadas de diferencia puede generar tasas de falsos positivos de hasta el 90 %.

Esto no fue un accidente fortuito. Apenas unas semanas antes, la FTC prohibió a Rite Aid utilizar el reconocimiento facial durante cinco años. Entre 2012 y 2020, el sistema de Rite Aid generó miles de coincidencias falsas positivas en cientos de tiendas. Las mujeres y las personas de color fueron señaladas de manera desproporcionada. Los empleados siguieron, registraron y acusaron públicamente a clientes inocentes basándose en alertas automatizadas.

Si su organización utiliza la IA para cualquier decisión que afecte a la libertad, las finanzas o la reputación de una persona, estos casos son una advertencia contundente.

Por qué esto le importa a su empresa

La exposición financiera en este ámbito no es hipotética. Ya está afectando a los balances contables y a los tribunales de justicia.

• Demanda de 10 millones de dólares: la reclamación de Harvey Murphy contra Macy's y EssilorLuxottica por detención ilegal y lesiones personales causadas por una identificación defectuosa mediante IA.
• Prohibición tecnológica de cinco años: la FTC prohibió a Rite Aid el uso de reconocimiento facial por completo. Rite Aid también debe eliminar todos los datos biométricos y destruir cada modelo de IA desarrollado a partir de dichos datos.
• Confiscación de modelos (model disgorgement): la FTC obligó a Rite Aid a «desaprender» su IA, destruyendo los algoritmos derivados de información recopilada indebidamente. Se trata de una nueva herramienta regulatoria que elimina años de inversión de la noche a la mañana.

El entorno regulatorio se está endureciendo rápidamente. La Ley de IA de la UE (EU AI Act) clasifica ahora la identificación biométrica en espacios públicos como de «alto riesgo». Los proveedores deben realizar evaluaciones de conformidad, mantener documentación técnica detallada y garantizar una supervisión humana efectiva. Incluso si su empresa opera únicamente en los Estados Unidos, el Marco de Gestión de Riesgos de IA del NIST promueve los mismos principios. La FTC empleó una lógica similar —transparencia, rendición de cuentas, gestión de riesgos— para justificar su prohibición a Rite Aid.

Su consejo de administración debe comprenderlo: el coste de un sistema de IA mal gobernado no es un problema técnico. Es un problema de litigios, un problema regulatorio y un problema de titulares en primera plana. Si su proveedor de IA no puede explicar cómo su sistema evita estos fallos, su empresa es quien asume el riesgo, no ellos.

Qué está ocurriendo realmente bajo el capó

He aquí por qué fallan estos sistemas, en términos sencillos.

La mayoría de las herramientas comerciales de reconocimiento facial están diseñadas para lo que los ingenieros denominan problemas de «conjunto cerrado» (closed-set). Esto significa que el sistema asume que la persona a la que está escaneando se encuentra definitivamente en la base de datos. Piense en desbloquear su teléfono con la cara. El teléfono sabe que usted es usted; solo necesita confirmarlo.

La seguridad en el comercio minorista es todo lo contrario: es un problema de «conjunto abierto» (open-set). La inmensa mayoría de las personas que entran en su tienda no figuran en ninguna base de datos delictiva. Sin embargo, un sistema de conjunto cerrado no sabe decir «no reconozco a esta persona». En su lugar, busca la coincidencia más cercana posible, incluso si esa coincidencia es errónea. Así es como Rite Aid generó miles de falsos positivos en cientos de establecimientos.

Piense en ello como un examen de opción múltiple sin la opción «ninguna de las anteriores». El sistema debe elegir una respuesta, incluso cuando la respuesta correcta no figura en la lista. Cada rostro que cruza la puerta se empareja con alguien de la base de datos, pertenezca o no a ella.

El segundo fallo consiste en tratar el resultado de la IA como una simple respuesta de sí o no. En realidad, cada resultado de la IA es una probabilidad: una estimación con un nivel de confianza. El sistema de Macy's asignó una puntuación de coincidencia a Harvey Murphy, pero nadie se preguntó cuán fiable era realmente esa puntuación. Una puntuación de coincidencia de 0,85 parece alta; pero si la imagen original es borrosa y la foto de referencia tiene décadas de antigüedad, ese 0,85 carece de sentido estadístico. Sin una capa que mida la incertidumbre —qué tan seguro está realmente el sistema—, se están tomando decisiones críticas y de alto riesgo basadas en el lanzamiento de una moneda disfrazado de ciencia.

Qué funciona (y qué no)

Comencemos por lo que falla.

Modelos comerciales listos para usar sin pruebas previas. Rite Aid adquirió el reconocimiento facial a dos proveedores cuyos contratos eximían expresamente cualquier garantía sobre la precisión. La empresa nunca probó la fiabilidad del software. No se puede externalizar la responsabilidad mediante el contrato de un proveedor.

Entradas de baja calidad tratadas como suficientemente buenas. Tanto Rite Aid como Macy's introdujeron en sus sistemas fotogramas borrosos de cámaras de CCTV y fotografías policiales antiguas. En la ingeniería biométrica, una mala entrada no se limita a reducir la precisión: incrementa los errores de forma exponencial.

Ausencia de revisión humana previa a la acción. Los empleados de Rite Aid confrontaron a los clientes basándose únicamente en alertas automatizadas. Nadie cuestionó a la máquina. La demanda contra Macy's sostiene que la empresa presentó una coincidencia automatizada a la policía como un hecho verificado, y la policía dejó de investigar.

Esto es lo que realmente funciona.

1. Validación de entradas. Antes de que el sistema intente siquiera una coincidencia, un agente dedicado al control de calidad evalúa la imagen. ¿Es suficiente la resolución? ¿Es adecuada la iluminación? ¿Es la fotografía de referencia lo bastante reciente? Si la entrada no supera estas comprobaciones, el sistema rechaza la comparación de inmediato. Ninguna estimación es mejor que una mala estimación.

2. Medición de la incertidumbre. En lugar de generar una única puntuación de confianza, el sistema produce una distribución de probabilidad: un rango que muestra cuán fiable es realmente el resultado. Técnicas como la predicción conformal garantizan que el resultado real se sitúe dentro de los límites predichos con el nivel de confianza que usted determine. Usted decide su tasa de error admisible; el sistema la aplica matemáticamente.

3. Puertas de decisión con intervención humana (human-in-the-loop). El sistema canaliza cada resultado a través de umbrales de confianza. Por debajo del 70 % de confianza, la coincidencia se descarta automáticamente. Entre el 70 % y el 95 %, un revisor humano cualificado examina la imagen original de vigilancia junto con la imagen de la base de datos y toma la decisión. Solo por encima del 95 % —y únicamente en acciones de bajo impacto— el sistema actúa de forma autónoma.

Se trata de un enfoque de orquestación multiagente donde agentes especializados gestionan cada paso: uno valida la calidad de la entrada, otro ejecuta la coincidencia, un tercero mide la incertidumbre y un cuarto marca los casos ambiguos para su revisión humana. Ningún modelo por sí solo toma la decisión final.

La gran ventaja para el cumplimiento normativo es el registro de auditoría. Cada paso —cada control de calidad de imagen, cada puntuación de confianza y cada decisión humana— queda registrado automáticamente. Cuando el regulador o el abogado de la parte demandante pregunte cómo llegó su sistema a una decisión, usted podrá demostrarle con exactitud lo sucedido. La prueba Face Recognition Vendor Test del NIST establece los puntos de referencia que sus proveedores deberían cumplir. Mide las tasas de coincidencias falsas en umbrales tan estrictos como 1 entre 1 000 000. También desglosa el rendimiento por género, edad y grupo demográfico: exactamente el tipo de datos sobre sesgo que la FTC exigió a Rite Aid.

Para las organizaciones en seguridad y resiliencia de la IA, la pregunta no es si su IA es precisa en promedio. Es si su IA puede demostrar que fue precisa en este caso específico, para esta persona específica, bajo estas condiciones específicas. Ese es el estándar que los flujos de trabajo y herramientas deterministas deben cumplir.

Puede leer el análisis técnico completo para conocer los detalles de ingeniería, o explorar la versión interactiva para realizar un recorrido guiado por la arquitectura.