Um cliente comum sinalizado por engano por uma caixa âmbar de CORRESPONDÊNCIA de reconhecimento facial exibindo 0,94
Facial RecognitionArtificial IntelligencePrivacy

Um Fornecedor de Reconhecimento Facial Marcou 99% — e Ainda Sinalizou Clientes Inocentes o Dia Inteiro

Ashutosh SinghalAshutosh Singhal1 de junho de 202613 min

O algoritmo do fornecedor estava classificado no nível mais alto do próprio benchmark do governo dos EUA. Em uma galeria de doze milhões de fotos policiais, os principais sistemas de reconhecimento facial agora alcançam mais de 99% de precisão. O número era real, o certificado era real, e eu o havia usado para tranquilizar um cliente-piloto de que sua implantação de prevenção de perdas era sólida.

Então rodamos os dados reais da loja deles, e o sistema sinalizou clientes inocentes o dia inteiro.

Essa lacuna — entre uma pontuação de benchmark de 99% e um sistema que aborda a avó errada no corredor seis — é todo o tema deste ensaio. A conformidade do reconhecimento facial quase nunca é um problema de algoritmo. É um problema de aquisição, um problema de dados e um problema de governança vestido com a roupa de um algoritmo. Aprendi isso do jeito caro, e é por isso que minha equipe na Veriprajna acabou auditando sistemas biométricos em relação às regulamentações, benchmarks e padrões operacionais que realmente importam em vez de apenas pontuar a precisão dos fornecedores.

O Placar Que Construí Primeiro Era a Ferramenta Errada

Matemática de conjunto aberto: como uma taxa de erro de 0,1% se torna 4.000 pessoas inocentes sinalizadas diariamente em 500 lojas

Quando comecei, achei que a auditoria era óbvia. Ler o NIST Face Recognition Vendor Test — o Instituto Nacional de Padrões e Tecnologia executa o benchmark independente mais respeitado da área — extrair a classificação do fornecedor, pontuá-la, entregar ao cliente um sinal verde. Construí exatamente isso: um placar organizado de precisão de fornecedores.

O piloto era uma rede de varejo com uma lista de vigilância de suspeitos conhecidos de furto organizado. Seu fornecedor era um genuíno destaque no FRVT. Pelo meu placar, eles passaram com folga. Então, quando suas lojas continuaram gerando alertas sobre pessoas que claramente não estavam em nenhuma lista, presumi que era um problema de ajuste e fui procurar o bug no limiar.

Não havia bug. A matemática estava funcionando exatamente como projetada — eu apenas havia auditado a coisa errada.

Um benchmark diz como um algoritmo se comporta no laboratório. Ele quase não diz nada sobre como ele se comportará na sua loja.

Aqui está o que eu havia deixado passar. A precisão de destaque do NIST vem da correspondência de conjunto fechado: dado um rosto, encontre sua correspondência em uma galeria conhecida. Esse é o problema do desbloqueio de telefone — é o dono, sim ou não. Mas uma lista de vigilância de varejo é um problema de conjunto aberto, e os dois não são primos. Em uma loja com 8.000 visitantes diários e uma lista de vigilância de 200 pessoas, 97,5% de cada varredura é contra alguém que não está cadastrado de forma alguma. Um algoritmo de conjunto fechado se esforça para encontrar a melhor correspondência para cada rosto que vê. Aponte-o para esse volume e até mesmo uma taxa de falsos positivos de 0,1% gera cerca de 8 alertas errados por loja por dia. Em 500 locais, isso são 4.000 pessoas inocentes sinalizadas diariamente. Eu havia certificado um sistema com base na pergunta totalmente errada.

Essa foi a falha que reconstruiu a abordagem da empresa. Paramos de pontuar fornecedores e começamos a auditar implantações.

Os Falsos Positivos Estavam Escondidos no Álbum de Fotos

A segunda surpresa foi de onde as correspondências ruins realmente vinham. Eu havia presumido que uma correspondência errada significava um modelo fraco. Então sentei com a galeria de cadastro de um cliente — o conjunto real de imagens da lista de vigilância contra as quais o sistema compara os rostos — e abri a grade de miniaturas.

Era uma bagunça. Um punhado de retratos limpos e controlados. E então dezenas de imagens granuladas de CFTV, fotos de celular e fotos de fichamento com uma década de idade. Você não consegue corresponder de forma confiável um rosto ao vivo de 2026 a uma foto de fichamento de baixa resolução de 2014, e nenhuma classificação de algoritmo no mundo conserta isso. A contaminação estava nos dados, não no modelo.

Essa é a parte que ninguém audita. As empresas se obcecam por qual fornecedor comprar e nunca inspecionam a galeria que estão alimentando nele — as listas de vigilância sem poda, as capturas desatualizadas, as incompatibilidades de resolução que causam a maioria dos falsos positivos do mundo real. Quando começamos a tratar a higiene do banco de dados de cadastro como parte de primeira classe da auditoria, as taxas de falsos alertas nos pilotos caíram antes de tocarmos em um único limiar.

E esses falsos alertas não são distribuídos uniformemente. Os testes demográficos do NIST descobriram que as taxas de falsos positivos dentro de um mesmo grupo variam em até 7.203 vezes entre grupos demográficos — crianças, idosos e indivíduos asiáticos e indígenas americanos todos apresentam taxas elevadas, em parte porque tons de pele mais escuros impõem requisitos mais difíceis de captura de faixa dinâmica que câmeras baratas não atendem. Isso não é teórico. Quando a Federal Trade Commission examinou a implantação da Rite Aid, descobriu que lojas em comunidades majoritariamente negras e asiáticas geravam significativamente mais falsos alertas do que lojas em comunidades majoritariamente brancas. Funcionários, não treinados nos limites do sistema, tratavam cada alerta como fato e abordavam os clientes de acordo.

A pergunta que deveria tirar o sono de um responsável por risco no varejo não é "nosso fornecedor é preciso". É "com quais rostos nossa galeria é pior, e o que nossos funcionários fazem quando a tela se acende".

Como São 108 Dias na Cadeia

Se você quer saber por que penso que a etapa de revisão humana é o jogo inteiro, leia o processo de Angela Lipps.

Lipps é uma avó de 50 anos. Em julho de 2025, a polícia de Fargo usou reconhecimento facial para identificá-la como suspeita, e os U.S. Marshals a prenderam. Ela estava a 1.900 quilômetros da cena do crime. Ela passou 108 dias na cadeia antes de as acusações serem retiradas na véspera de Natal de 2025. O chefe de polícia de Fargo pediu desculpas publicamente em 27 de março de 2026. Ações por direitos civis estão sendo preparadas.

Um sistema produziu um número. Ninguém verificou se aquele número era confiável dada a qualidade da imagem, a diferença de idade entre a foto de referência e a imagem da galeria, ou como o algoritmo se comporta com o grupo demográfico dela. A pontuação de correspondência foi tratada como prova. Não era prova — era uma probabilidade sem nenhuma confiança calibrada associada a ela, e alguém a leu como um nome.

Lipps não é um caso isolado. O Washington Post documentou pelo menos oito americanos presos injustamente após correspondências de reconhecimento facial, com investigadores em todos os casos pulando etapas fundamentais como verificar um álibi. A detenção injusta de Harvey Murphy durou dez dias, incluiu uma agressão física e se transformou em um processo de US$ 10 milhões. Em Reno, o caso de prisão injusta por reconhecimento facial de cassino de Jason Killinger está indo a julgamento, com um policial declarando oficialmente que aquilo "nunca deveria ter acontecido".

É por isso que os reguladores pararam de aceitar a supervisão humana como uma caixinha a marcar. O padrão que agora converge entre jurisdições é uma revisão significativa, não cerimonial — e "significativa" é precisamente o que a maioria das implantações finge. Já revisei procedimentos de humano-no-circuito em que o POP tinha uma caixa rotulada supervisão significativa sem nada por baixo dela. Um revisor que carimba a saída da máquina na mesma velocidade em que a máquina a produz não é supervisão. Validar que o fluxo de trabalho de revisão realmente atende à exigência regulatória — que um humano possa sobrepor-se ao sistema e efetivamente o faça, com as informações necessárias para isso — acabou sendo uma das partes mais difíceis e mais importantes de cada auditoria que realizamos.

O Mosaico de Leis Pelo Qual Você Realmente Responde

O mosaico fragmentado de leis biométricas: nenhuma lei federal, BIPA, CUBI, EU AI Act, proibições municipais e penalidades

As pessoas sempre me perguntam sobre "a lei de reconhecimento facial" à qual precisam obedecer. Não existe uma. Nenhuma lei federal dos EUA regula o reconhecimento facial. O que existe, em vez disso, é um mosaico, e as penalidades não são simbólicas.

A BIPA de Illinois é a que tem dentes, porque traz um direito privado de ação — qualquer pessoa pode processar. Os danos por violação chegam a US$ 1.000 para violações negligentes e US$ 5.000 para intencionais, e só em 2025 os acordos totalizaram US$ 136,6 milhões em mais de 107 novas ações coletivas. Os números de todos os tempos são ainda maiores: o Facebook fechou acordo de US$ 650 milhões, e a Clearview AI de US$ 51,75 milhões. A CUBI do Texas traz penalidades de até US$ 25.000 por violação e produziu um acordo com o Google de US$ 1,375 bilhão, embora o Texas aplique a lei apenas por meio de seu procurador-geral, e sua lei TRAIGA de 2025 tenha criado isenções para segurança e prevenção de fraude.

Depois há o EU AI Act, cujas práticas proibidas — incluindo a proibição da identificação biométrica remota em tempo real — tornaram-se aplicáveis em fevereiro de 2025, com penalidades de até € 35 milhões ou 7% do faturamento global. Seus prazos para sistemas de alto risco foram adiados para 2 de dezembro de 2027, depois que o Parlamento Europeu votou para estendê-los, o que dá tempo mas não muda nada quanto às proibições já em vigor. Some a isso a Lei de Privacidade emendada do Colorado, a lei biométrica de Washington e as proibições totais em mais de 16 cidades dos EUA, incluindo San Francisco, Boston, Oakland e Portland — com 10 ou mais estados adicionais esperados para aprovar proteções biométricas até o fim de 2026 — e você tem uma implantação que é legal em um CEP e um ímã de ações coletivas no seguinte. O recurso "Familiar Faces" do Ring da Amazon, lançado em dezembro de 2025, foi bloqueado em Illinois, Texas e Portland poucas semanas após o lançamento.

Uma auditoria de verdade precisa mapear uma única implantação em relação a todas essas leis de uma só vez. Nenhuma ferramenta de prateleira faz isso, que é exatamente por que tivemos de construir a capacidade.

Por Que Comprar o Fornecedor Mais Bem Classificado Não Basta?

No início, um consultor me disse que a coisa toda era mais simples do que eu fazia parecer: compre o fornecedor NIST mais bem classificado e você está em conformidade. Acreditei nisso por cerca de uma semana — até que o piloto provou que um fornecedor de topo com um ótimo benchmark ainda produzia uma loja cheia de falsos alertas.

O panorama de fornecedores recompensa o ceticismo. Os líderes de full-stack — NEC, IDEMIA, Thales — são todos genuínos destaques do FRVT, e especialistas em software como Paravision e Rank One Computing estão entre os melhores. Mas as classificações deixam de fora a linha que mais importa no contrato: os fornecedores rotineiramente rejeitam qualquer garantia de precisão. A empresa assume toda a responsabilidade por resultados que não consegue auditar de forma independente. Os grandes provedores de nuvem entenderam o clima e saíram — a Amazon impôs uma moratória indefinida ao uso do Rekognition pela polícia, a Microsoft fez o mesmo com o Azure Face, e a IBM saiu completamente do reconhecimento facial lá em 2020. A Clearview AI, a coletora mais agressiva, está totalmente proibida na UE.

Se seu fornecedor não garante a precisão e o regulador responsabiliza você pelo resultado, a classificação de benchmark do fornecedor é o fato menos interessante sobre a sua implantação.

Há uma armadilha de aquisição mais profunda que a maioria dos compradores nunca vê. A ação da FTC contra a Rite Aid não apenas proibiu o reconhecimento facial por cinco anos — ela ordenou a desapropriação de modelo: a destruição de todos os dados biométricos e de todo modelo treinado com eles. A desapropriação está se tornando uma ferramenta padrão; um caso de maio de 2025 forçou uma empresa de edtech a apagar seus modelos também. O princípio é que você não pode lucrar com dados, ou com algoritmos derivados de dados, que não tinha permissão para coletar. Então a pergunta que um líder de aquisição deveria estar fazendo a um fornecedor não é "quão preciso você é". É "você consegue provar que a precisão que está me vendendo não foi construída sobre dados que poderiam levar o próprio modelo a ser apagado". Essa é uma pergunta de due diligence, e quase ninguém a faz.

Os Bancos Têm o Problema Oposto — e a Mesma Lacuna

O varejo é o caso mais vívido, mas as instituições financeiras estão em uma situação igualmente apertada, vinda da direção oposta. Sua biometria não é triagem de lista de vigilância — são verificações eletrônicas de Conheça Seu Cliente: verificação de documento de identidade combinada com correspondência facial e detecção de vivacidade para confirmar que uma pessoa real está abrindo uma conta real. A implantação é consentida e restrita, o que soa mais fácil. Não é, porque a exigência mudou.

A partir de 1º de janeiro de 2026, o FinCEN ampliou suas exigências de combate à lavagem de dinheiro, e a mudança supervisória mais ampla de 2026 vai da presença de controles para a eficácia demonstrável dos controles. Não basta mais dizer que você executa detecção de vivacidade. Você tem que mostrar que ela funciona — que sua verificação de vivacidade resiste a um ataque de apresentação (uma foto impressa, um vídeo reproduzido, uma máscara de silicone erguida diante da câmera), que sua taxa de falsa correspondência se sustenta entre grupos demográficos, que o controle faz algo mensurável em vez de meramente existir. Um banco usando um fornecedor como a FacePhi para vivacidade bancária está na mesma posição que o varejista: carregando toda a responsabilidade por um sistema que não consegue avaliar de forma independente, agora sendo solicitado por seu regulador a provar uma eficácia que nunca mediu.

O fio que conecta o gerente de prevenção de perdas e o responsável pela conformidade do banco é a mesma lacuna. Ambos compraram um sistema biométrico com base na alegação de um fornecedor. Nenhum dos dois consegue ler um relatório NIST FRVT bem o suficiente para traduzi-lo em uma decisão de aquisição, auditar a qualidade dos dados que estão alimentando no sistema, ou provar que seu processo de revisão humana é significativo em vez de cerimonial. Essa lacuna está se ampliando à medida que decisões biométricas são entregues a agentes de IA autônomos — apenas 23% das organizações têm alguma estratégia formal para gerenciar a identidade de agentes, e a empresa de verificação de identidade iProov vem alertando sobre um "vácuo de responsabilização" quando agentes tomam decisões de alto impacto sem ninguém claramente responsável por elas.

O Que a Dúvida Calibrada Realmente Compra Para Você?

A correção que mais importou foi a menos glamorosa. Os fornecedores de reconhecimento facial relatam uma pontuação de correspondência — um número — sem limites de confiança calibrados ao seu redor. O sistema diz "0,94" e o operador lê "é ela". Mas 0,94 contra um retrato limpo de estúdio e 0,94 contra uma foto de fichamento com uma década de idade de alguém de um grupo demográfico que o algoritmo lida mal não são a mesma alegação, e a pontuação bruta esconde a diferença.

O que falta é uma camada de incerteza: uma forma de associar uma confiança honesta e calibrada a cada correspondência, para que um resultado limítrofe se anuncie como limítrofe e seja encaminhado a um humano em vez de ao rádio de um segurança. Esse tipo de middleware não existe comercialmente. Construir a avaliação para isso — a coisa que teria dito a um policial de Fargo "esta correspondência é de baixa confiança dada a qualidade da imagem e o grupo demográfico do indivíduo, não aja com base nela sozinho" — é o trabalho que eu gostaria que tivesse existido antes do caso Lipps, não depois.

Você consegue ver as instituições que já entendem isso. A Polícia de Essex, no Reino Unido, suspendeu seu programa de reconhecimento facial por causa do risco de viés, após uma auditoria do Information Commissioner's Office. Elas não esperaram por uma prisão injusta para descobrir que seu sistema tinha um ponto cego demográfico. Essa é a postura: tratar o sistema como uma responsabilidade até que uma auditoria independente prove o contrário, em vez do inverso.

Uma pontuação de benchmark é o que você mostra na apresentação de vendas de um fornecedor. Um limite de confiança calibrado em cada correspondência é o que você mostra ao regulador e ao tribunal — e apenas um desses sobrevive a um interrogatório.

A Verdadeira Pergunta a Levar à Sua Próxima Reunião com o Fornecedor

Se você implantou reconhecimento facial, a verdade incômoda é que seu certificado de benchmark está medindo um sistema diferente daquele que está rodando nas suas lojas ou no seu fluxo de cadastro. A precisão é real e quase irrelevante. O que determina sua exposição é a matemática de conjunto aberto do seu ambiente, a higiene da galeria que você construiu, se suas jurisdições estão mapeadas, e se um humano consegue de fato pegar a máquina antes que ela aborde a pessoa errada.

Nada disso aparece na classificação de um fornecedor. Tudo isso aparece em uma ação coletiva, em uma ordem de consentimento da FTC, ou nos 108 dias de uma avó em uma cela. Construímos nossa auditoria de conformidade biométrica e de reconhecimento facial para o comprador que prefere encontrar essas lacunas em um relatório do que em um processo judicial.

Então, da próxima vez que um fornecedor lhe entregar um número de 99% de precisão, não pergunte como o obtiveram. Pergunte o que ele não cobre — e então vá contar quantos dos rostos que passam diante das suas câmeras todos os dias jamais estiveram em qualquer lista, para começar.

Pesquisa relacionada

Também publicado em

Construa sua IA com confiança.

Faça parceria com uma equipe que tem profunda experiência na construção da próxima geração de IA empresarial. Deixe-nos ajudá-lo a projetar, construir e implementar uma estratégia de IA em que você possa confiar.

Veriprajna consultoria de Deep Tech é especializada na construção de sistemas de IA críticos para a segurança nas áreas de saúde, finanças e domínios regulatórios. Nossas arquiteturas são validadas em relação a protocolos estabelecidos, com documentação de conformidade abrangente.