Un proveedor de reconocimiento facial puntuó un 99 % y aun así marcó a compradores inocentes todo el día

El algoritmo del proveedor estaba clasificado en el nivel más alto del propio benchmark del gobierno de EE. UU. Sobre una galería de doce millones de fotografías policiales, los principales sistemas de reconocimiento facial alcanzan ahora una precisión superior al 99 %. La cifra era real, el certificado era real, y yo lo había usado para tranquilizar a un cliente piloto asegurándole que su despliegue de prevención de pérdidas era sólido.

Luego procesamos los datos reales de su tienda, y el sistema marcó a compradores inocentes durante todo el día.

Esa brecha —entre una puntuación de referencia del 99 % y un sistema que increpa a la abuela equivocada en el pasillo seis— es el tema central de este ensayo. El cumplimiento normativo del reconocimiento facial casi nunca es un problema de algoritmo. Es un problema de adquisición, un problema de datos y un problema de gobernanza disfrazado de algoritmo. Eso lo aprendí por las malas, y es la razón por la que mi equipo en Veriprajna acabó auditando sistemas biométricos frente a las regulaciones, los benchmarks y los estándares operativos que realmente importan en lugar de limitarse a puntuar la precisión de los proveedores.

El cuadro de mando que construí primero era la herramienta equivocada

Cuando empecé, pensé que la auditoría era evidente. Leer el Face Recognition Vendor Test del NIST —el Instituto Nacional de Estándares y Tecnología dirige el benchmark independiente más respetado del campo—, extraer el ranking del proveedor, puntuarlo y entregar al cliente un visto bueno. Construí exactamente eso: un pulcro cuadro de mando de precisión de proveedores.

El piloto era una cadena minorista con una lista de vigilancia de sospechosos conocidos de robo organizado. Su proveedor era un verdadero líder en el FRVT. Según mi cuadro de mando, pasaba sin problemas. Así que cuando sus tiendas siguieron generando alertas sobre personas que claramente no estaban en ninguna lista, supuse que era un problema de ajuste y me puse a buscar el fallo en el umbral.

No había ningún fallo. La matemática funcionaba exactamente como estaba diseñada: yo simplemente había auditado lo equivocado.

Un benchmark te dice cómo se comporta un algoritmo en el laboratorio. No te dice casi nada sobre cómo se comportará en tu tienda.

Esto es lo que se me había escapado. La precisión estelar del NIST proviene del emparejamiento de conjunto cerrado: dado un rostro, encontrar su coincidencia en una galería conocida. Ese es el problema del desbloqueo del teléfono: ¿es este el propietario, sí o no? Pero una lista de vigilancia minorista es un problema de conjunto abierto, y los dos no son ni parientes. En una tienda con 8000 visitantes diarios y una lista de vigilancia de 200 personas, el 97,5 % de cada escaneo se realiza contra alguien que no está inscrito en absoluto. Un algoritmo de conjunto cerrado se esfuerza por encontrar la mejor coincidencia para cada rostro que ve. Apúntalo a ese volumen y hasta una tasa de falsos positivos del 0,1 % lanza aproximadamente 8 alertas erróneas por tienda al día. En 500 ubicaciones, eso equivale a 4000 personas inocentes marcadas a diario. Yo había certificado un sistema respondiendo a la pregunta equivocada por completo.

Ese fue el fracaso que reconstruyó el enfoque de la empresa. Dejamos de puntuar proveedores y empezamos a auditar despliegues.

Los falsos positivos se escondían en el álbum de fotos

La segunda sorpresa fue de dónde venían realmente las coincidencias erróneas. Yo había supuesto que una coincidencia equivocada significaba un modelo débil. Luego me senté con la galería de inscripción de un cliente —el conjunto real de imágenes de la lista de vigilancia con las que el sistema compara los rostros— y abrí la cuadrícula de miniaturas.

Era un desastre. Un puñado de retratos limpios y controlados. Y luego docenas de fotogramas granulados de CCTV, instantáneas de teléfono móvil y fotos de fichaje policial que tenían una década de antigüedad. No puedes emparejar de forma fiable un rostro en vivo de 2026 contra una foto de fichaje de baja resolución de 2014, y ningún ranking de algoritmo en el mundo arregla eso. La contaminación estaba en los datos, no en el modelo.

Esta es la parte que nadie audita. Las empresas se obsesionan con qué proveedor comprar y nunca inspeccionan la galería que le están alimentando: las listas de vigilancia sin depurar, las capturas obsoletas, los desajustes de resolución que provocan la mayoría de los falsos positivos del mundo real. Cuando empezamos a tratar la higiene de la base de datos de inscripción como una parte de primer orden de la auditoría, las tasas de falsas alertas en los pilotos bajaron antes de que tocáramos un solo umbral.

Y esas falsas alertas no se distribuyen de manera uniforme. Las pruebas demográficas del NIST hallaron que las tasas de falsos positivos dentro de un mismo grupo varían hasta 7203 veces entre grupos demográficos —niños, ancianos y sujetos asiáticos y amerindios experimentan todos tasas elevadas, en parte porque los tonos de piel más oscuros imponen requisitos de captura de rango dinámico más exigentes que las cámaras baratas no cumplen—. Esto no es teórico. Cuando la Comisión Federal de Comercio examinó el despliegue de Rite Aid, encontró que las tiendas en comunidades de mayoría negra y asiática generaban significativamente más falsas alertas que las tiendas en comunidades de mayoría blanca. Los empleados, sin formación sobre los límites del sistema, trataban cada alerta como un hecho y increpaban a los clientes en consecuencia.

La pregunta que debería quitarle el sueño a un responsable de riesgos minorista no es "¿es preciso nuestro proveedor?". Es "¿con qué rostros funciona peor nuestra galería, y qué hacen nuestros empleados cuando la pantalla se ilumina?".

Cómo son 108 días en la cárcel

Si quieres saber por qué creo que el paso de la revisión humana lo es todo, lee el expediente de Angela Lipps.

Lipps es una abuela de 50 años. En julio de 2025, la policía de Fargo usó el reconocimiento facial para identificarla como sospechosa, y los U.S. Marshals la arrestaron. Estaba a 1200 millas del lugar del delito. Pasó 108 días en la cárcel antes de que se retiraran los cargos en Nochebuena de 2025. El jefe de la policía de Fargo se disculpó públicamente el 27 de marzo de 2026. Se están preparando demandas por derechos civiles.

Un sistema produjo una cifra. Nadie comprobó si esa cifra era fiable dada la calidad de la imagen, la diferencia de edad entre la foto de sondeo y la imagen de la galería, o cómo se comporta el algoritmo con su grupo demográfico. La puntuación de coincidencia se trató como prueba. No era una prueba: era una probabilidad sin ninguna confianza calibrada asociada, y alguien la interpretó como un nombre.

Lipps no es un caso atípico. The Washington Post ha documentado al menos ocho estadounidenses arrestados injustamente tras coincidencias de reconocimiento facial, con investigadores que en cada caso se saltaron pasos fundamentales como comprobar una coartada. La detención injusta de Harvey Murphy duró diez días, incluyó una agresión física y se convirtió en una demanda de 10 millones de dólares. En Reno, el caso de arresto injusto por reconocimiento facial en un casino de Jason Killinger se encamina a juicio, con un agente que declaró oficialmente que "nunca debería haber ocurrido".

Por eso los reguladores han dejado de aceptar la supervisión humana como una casilla que marcar. El estándar que ahora converge entre jurisdicciones es una revisión significativa, no ceremonial, y "significativa" es precisamente lo que la mayoría de los despliegues fingen. He revisado procedimientos de supervisión humana en el proceso donde el protocolo tenía una casilla etiquetada supervisión significativa sin nada debajo. Un revisor que valida automáticamente la salida de la máquina a la misma velocidad a la que la máquina la produce no es supervisión. Validar que el flujo de revisión cumple realmente con el listón regulatorio —que un humano puede anular el sistema y lo hace, con la información necesaria para hacerlo— resultó ser una de las partes más difíciles e importantes de cada auditoría que realizamos.

El mosaico normativo bajo el que realmente respondes

La gente siempre me pregunta por "la ley de reconocimiento facial" que deben cumplir. No existe una sola. Ninguna ley federal de EE. UU. regula el reconocimiento facial. Lo que existe en su lugar es un mosaico, y las sanciones no son simbólicas.

La BIPA de Illinois es la que tiene dientes, porque conlleva un derecho privado de acción: cualquiera puede demandar. Los daños por infracción ascienden a 1000 dólares por infracciones negligentes y 5000 dólares por infracciones intencionadas, y solo en 2025 los acuerdos totalizaron 136,6 millones de dólares en más de 107 nuevas demandas colectivas. Las cifras históricas son aún mayores: Facebook llegó a un acuerdo por 650 millones de dólares, Clearview AI por 51,75 millones. La CUBI de Texas conlleva sanciones de hasta 25 000 dólares por infracción y produjo un acuerdo con Google de 1375 millones de dólares, aunque Texas solo hace cumplir la ley a través de su fiscal general y su ley TRAIGA de 2025 introdujo exenciones para la seguridad y la prevención del fraude.

Luego está la Ley de IA de la UE, cuyas prácticas prohibidas —incluidas las prohibiciones de la identificación biométrica remota en tiempo real— pasaron a ser exigibles en febrero de 2025, con sanciones de hasta 35 millones de euros o el 7 % de la facturación global. Sus plazos para sistemas de alto riesgo se aplazaron hasta el 2 de diciembre de 2027, después de que el Parlamento Europeo votara a favor de prorrogarlos, lo que gana tiempo pero no cambia nada respecto a las prohibiciones ya en vigor. Súmale la Ley de Privacidad enmendada de Colorado, la ley biométrica de Washington y las prohibiciones tajantes en más de 16 ciudades de EE. UU. incluidas San Francisco, Boston, Oakland y Portland —con 10 o más estados adicionales que se espera aprueben protecciones biométricas para finales de 2026— y tienes un despliegue que es legal en un código postal y un imán para demandas colectivas en el siguiente. La función "Familiar Faces" de Ring de Amazon, lanzada en diciembre de 2025, fue bloqueada en Illinois, Texas y Portland pocas semanas después de su lanzamiento.

Una auditoría real tiene que mapear un único despliegue frente a todas estas normativas a la vez. Ninguna herramienta lista para usar hace eso, que es exactamente por lo que tuvimos que construir esa capacidad.

¿Por qué no basta con comprar el proveedor mejor clasificado?

Al principio, un asesor me dijo que todo el asunto era más sencillo de lo que yo lo estaba haciendo: compra el proveedor del NIST mejor clasificado y cumplirás con la normativa. Lo creí durante una semana, aproximadamente, hasta que el piloto demostró que un proveedor puntero con un excelente benchmark seguía produciendo una tienda llena de falsas alertas.

El panorama de proveedores premia el escepticismo. Los líderes de pila completa —NEC, IDEMIA, Thales— son todos verdaderos líderes del FRVT, y especialistas en software como Paravision y Rank One Computing figuran entre los mejores. Pero los rankings dejan fuera la línea que más importa en el contrato: los proveedores rutinariamente declinan cualquier garantía de precisión. La empresa asume toda la responsabilidad por resultados que no puede auditar de forma independiente. Los grandes actores de la nube leyeron el ambiente y se marcharon: Amazon impuso una moratoria indefinida sobre el uso policial de Rekognition, Microsoft hizo lo mismo con Azure Face, e IBM abandonó por completo el reconocimiento facial ya en 2020. Clearview AI, el recolector más agresivo, está prohibido de plano en la UE.

Si tu proveedor no garantiza la precisión y el regulador te responsabiliza a ti por el resultado, el ranking del proveedor en el benchmark es el dato menos interesante sobre tu despliegue.

Existe una trampa de adquisición más profunda que la mayoría de los compradores nunca ven. La acción de la FTC contra Rite Aid no solo prohibió el reconocimiento facial durante cinco años: ordenó la restitución del modelo: la destrucción de todos los datos biométricos y de todos los modelos entrenados con ellos. La restitución se está convirtiendo en una herramienta habitual; un caso de mayo de 2025 obligó a una empresa de tecnología educativa a eliminar también sus modelos. El principio es que no puedes lucrarte con datos, ni con algoritmos derivados de datos, que no tenías permiso para recopilar. Así que la pregunta que un responsable de adquisiciones debería hacerle a un proveedor no es "¿qué precisión tienes?". Es "¿puedes demostrar que la precisión que me estás vendiendo no se construyó sobre datos que podrían provocar la eliminación del propio modelo?". Esa es una pregunta de diligencia debida, y casi nadie la formula.

Los bancos tienen el problema opuesto —y la misma brecha

El comercio minorista es el caso llamativo, pero las instituciones financieras se encuentran en un aprieto igual de estrecho desde la dirección contraria. Su biometría no es un cribado de listas de vigilancia: son verificaciones electrónicas de Conozca a su Cliente (KYC): verificación de documentos de identidad combinada con emparejamiento facial y detección de vida para confirmar que una persona real está abriendo una cuenta real. El despliegue es consentido y acotado, lo que suena más fácil. No lo es, porque el listón se movió.

A partir del 1 de enero de 2026, la FinCEN amplió sus requisitos contra el blanqueo de capitales, y el giro supervisor más amplio de 2026 pasa de la presencia de controles a la eficacia demostrable de los controles. Ya no basta con decir que ejecutas la detección de vida. Tienes que demostrar que funciona: que tu comprobación de vida sobrevive a un ataque de presentación (una foto impresa, un vídeo reproducido, una máscara de silicona sostenida ante la cámara), que tu tasa de coincidencias falsas se mantiene entre grupos demográficos, que el control hace algo medible en lugar de meramente existir. Un banco que usa un proveedor como FacePhi para la detección de vida bancaria está en la misma posición que el minorista: cargando con toda la responsabilidad por un sistema que no puede evaluar de forma independiente, y al que ahora su regulador le pide demostrar una eficacia que nunca midió.

El hilo que conecta al gerente de prevención de pérdidas y al responsable de cumplimiento del banco es la misma brecha. Ambos compraron un sistema biométrico basándose en la afirmación de un proveedor. Ninguno sabe leer un informe FRVT del NIST lo bastante bien como para traducirlo en una decisión de adquisición, auditar la calidad de los datos que alimentan al sistema, o demostrar que su proceso de revisión humana es significativo en lugar de ceremonial. Esa brecha se ensancha a medida que las decisiones biométricas se ponen en manos de agentes de IA autónomos: solo el 23 % de las organizaciones tiene alguna estrategia formal para gestionar la identidad de los agentes, y la firma de verificación de identidad iProov lleva tiempo advirtiendo sobre un "vacío de responsabilidad" cuando los agentes toman decisiones de alto impacto sin que nadie responda claramente por ellas.

¿Qué te aporta realmente la duda calibrada?

La solución que más importaba era la menos vistosa. Los proveedores de reconocimiento facial informan de una puntuación de coincidencia —una cifra— sin límites de confianza calibrados a su alrededor. El sistema dice "0,94" y el operador lee "es ella". Pero un 0,94 frente a un retrato de estudio limpio y un 0,94 frente a una foto de fichaje de hace una década de alguien de un grupo demográfico que el algoritmo maneja mal no son la misma afirmación, y la puntuación en bruto oculta la diferencia.

Lo que falta es una capa de incertidumbre: una forma de asociar una confianza honesta y calibrada a cada coincidencia para que un resultado dudoso se anuncie como dudoso y se derive a un humano en lugar de a la radio de un guardia de seguridad. Ese tipo de middleware no existe comercialmente. Construir la evaluación necesaria para ello —lo que le habría dicho a un agente de Fargo "esta coincidencia es de baja confianza dada la calidad de la imagen y el grupo demográfico del sujeto, no actúes en base a ella por sí sola"— es el trabajo que ojalá hubiera existido antes del caso Lipps, no después.

Se ven las instituciones que ya lo entienden. La Policía de Essex, en el Reino Unido, pausó su programa de reconocimiento facial por riesgo de sesgo tras una auditoría de la Oficina del Comisionado de Información. No esperaron a un arresto injusto para descubrir que su sistema tenía un punto ciego demográfico. Esa es la postura: tratar el sistema como una responsabilidad hasta que una auditoría independiente demuestre lo contrario, en lugar de al revés.

Una puntuación de referencia es lo que le muestras al dossier comercial de un proveedor. Un límite de confianza calibrado en cada coincidencia es lo que le muestras al regulador y al tribunal, y solo uno de ellos sobrevive al contrainterrogatorio.

La verdadera pregunta que llevar a tu próxima reunión con proveedores

Si has desplegado reconocimiento facial, la verdad incómoda es que tu certificado de benchmark está midiendo un sistema distinto del que se ejecuta en tus tiendas o en tu flujo de incorporación. La precisión es real y casi irrelevante. Lo que determina tu exposición es la matemática de conjunto abierto de tu entorno, la higiene de la galería que construiste, si tus jurisdicciones están mapeadas, y si un humano puede realmente atrapar a la máquina antes de que increpe a la persona equivocada.

Nada de eso aparece en el ranking de un proveedor. Todo ello aparece en una demanda colectiva, una orden de consentimiento de la FTC o los 108 días de una abuela en una celda. Construimos nuestra auditoría de cumplimiento biométrico y de reconocimiento facial para el comprador que preferiría encontrar esas brechas en un informe antes que en un pleito.

Así que la próxima vez que un proveedor te entregue una cifra de precisión del 99 %, no preguntes cómo la obtuvo. Pregunta qué es lo que no cubre, y luego ve a contar cuántos de los rostros que pasan a diario ante tus cámaras nunca estuvieron en ninguna lista para empezar.