Um Avô Passou Dez Dias na Cadeia Porque um Algoritmo Disse Que Ele Era Culpado

Eu estava em uma ligação com um cliente em potencial — uma rede varejista de médio porte — quando o vice-presidente de Prevenção de Perdas deles disse algo que fez meu estômago afundar.

"Estamos avaliando um fornecedor de reconhecimento facial. Eles dizem que o sistema tem 98% de precisão. Só precisamos de alguém para instalá-lo."

Eu fiz uma única pergunta: "98% de precisão no rosto de quem?"

Silêncio.

Aquela conversa aconteceu semanas depois de eu ter lido a denúncia da FTC contra a Rite Aid — todas as suas 54 páginas — e o processo de US$ 10 milhões movido por Harvey Eugene Murphy Jr., um avô de 61 anos que passou dez dias em uma cadeia de Houston por um roubo cometido enquanto ele estava em casa, em Sacramento, na Califórnia. Ele foi identificado por um sistema de reconhecimento facial. O sistema estava errado. Quando alguém finalmente se deu ao trabalho de verificar, Murphy já havia sido espancado e agredido sexualmente atrás das grades.

Lembro de estar sentado no meu escritório naquela noite, relendo os detalhes do caso de Murphy, e sentindo algo que normalmente não sinto quando leio relatórios de falhas técnicas: raiva. Não do algoritmo — algoritmos não têm intenção. Dos humanos que o implantaram como se fosse um leitor de código de barras. Da arquitetura que tornou isso inevitável.

Eu dirijo a Veriprajna. Nós construímos o que chamo de "IA profunda" — sistemas com quantificação de incerteza, governança multiagente e engenharia rigorosa por baixo. O oposto do que fez a Rite Aid ser banida e Harvey Murphy ser preso. E eu preciso lhe dizer por que essa diferença importa mais do que a maioria das pessoas neste setor está disposta a admitir.

O Que Aconteceu na Rite Aid Não Foi uma Pane — Foi uma Escolha de Design

Em dezembro de 2023, a FTC fez algo sem precedentes: baniu a Rite Aid de usar tecnologia de reconhecimento facial por cinco anos. Não multou. Não advertiu. Baniu.

Entre 2012 e 2020, a Rite Aid havia implantado vigilância por reconhecimento facial baseada em IA em centenas de lojas. A ideia era simples — identificar ladrões conhecidos, alertar a segurança, reduzir os furtos. A execução foi uma catástrofe.

A Rite Aid comprou seu reconhecimento facial de dois fornecedores terceirizados. Os contratos de ambos os fornecedores isentavam expressamente qualquer garantia quanto à precisão. Leia isso de novo. As empresas que vendiam a tecnologia sequer prometiam que ela funcionava. E a Rite Aid a implantou mesmo assim — em lojas cheias de pessoas reais, com consequências reais para quem fosse identificado por engano.

Ninguém na Rite Aid testou a precisão do sistema. Ninguém verificou se os fornecedores o haviam testado. Ninguém implementou controles de qualidade de imagem. Funcionários das lojas alimentavam o banco de dados de cadastro com imagens granuladas de câmeras de CCTV e fotos de celular, e o sistema "comparava" diligentemente essas imagens degradadas com cada rosto que entrava pela porta.

Os resultados eram previsíveis para qualquer pessoa que entenda de engenharia biométrica, e devastadores para quem não entende. Milhares de falsos positivos. Clientes inocentes seguidos pelos corredores, revistados, publicamente acusados de furto. E aqui está a parte que deveria fazer todo líder empresarial parar para pensar: os alertas falsos atingiam desproporcionalmente mulheres e pessoas não brancas. Lojas em comunidades predominantemente negras e asiáticas registraram significativamente mais correspondências falsas do que lojas em comunidades predominantemente brancas.

Isso não foi um bug. Foi o resultado inevitável de modelos não calibrados, treinados com conjuntos de dados não representativos, implantados sem monitoramento, sobre imagens degradadas, sem nenhum processo de revisão humana que merecesse esse nome.

Por Que um Avô de 61 Anos Foi Parar na Cadeia?

O caso de Harvey Murphy é pior, porque a cadeia de falhas é mais longa e o custo humano é mais visceral.

Em janeiro de 2022, alguém roubou uma loja Sunglass Hut em Houston. A EssilorLuxottica, empresa controladora, colaborou com a Macy's para rodar reconhecimento facial sobre as imagens de vigilância da loja. O sistema comparou as imagens granuladas do roubo com um banco de dados que aparentemente continha a foto de fichamento de Murphy por delitos não violentos ocorridos décadas antes.

Quero que você segure dois fatos na cabeça ao mesmo tempo. Primeiro: Murphy estava em Sacramento, na Califórnia, no dia do roubo. Segundo: o sistema comparou as imagens de vigilância atuais com uma foto tirada anos — possivelmente décadas — antes. Estudos mostraram que comparar imagens atuais com fotos envelhecidas pode produzir taxas de falsos positivos de até 90%. Isso é chamado de problema da "diferença de idade", e qualquer pessoa que implante reconhecimento facial em um contexto de aplicação da lei deveria saber disso.

Mas eis o que me assombra neste caso. Segundo o processo, a Sunglass Hut e a Macy's apresentaram a correspondência automatizada às autoridades como um fato verificado. Não como uma pista. Não como uma probabilidade. Como identificação. A polícia parou de investigar. Já tinham o culpado.

Quando o resultado de uma máquina é tratado com mais autoridade do que o álibi de um ser humano, cruzamos uma linha que nenhuma quantidade de melhoria de precisão consegue consertar.

Murphy foi preso. Ele disse a eles que não estava no Texas. Não fez diferença. Ele passou dez dias na cadeia até que a promotoria confirmasse seu álibi. A essa altura, o dano estava feito — físico, psicológico, permanente.

Minha equipe e eu passamos uma noite analisando os detalhes técnicos deste caso, tentando reconstruir como provavelmente era a arquitetura do sistema. Imagens de entrada em baixa resolução. Uma foto de galeria envelhecida. Quase certamente um modelo de identificação de conjunto fechado — do tipo otimizado para sempre encontrar uma "melhor correspondência", mesmo quando a pessoa real não está no banco de dados. Sem quantificação de incerteza. Sem limiar de confiança. Sem nenhuma revisão humana significativa entre o resultado do algoritmo e um homem perdendo sua liberdade.

Cada uma dessas falhas era evitável. Não com uma IA melhor. Com uma arquitetura melhor.

O Que É o Problema do "Wrapper" e Por Que Você Deveria Se Importar?

Aqui preciso ser técnico por um momento, porque o padrão por trás desses dois desastres é o mesmo padrão que vejo em empresa após empresa.

A maioria das empresas que implantam IA hoje usa o que o setor chama de "wrappers". Um wrapper é uma interface com marca própria — um painel, um aplicativo, uma ferramenta de fluxo de trabalho — que fica sobre o modelo de IA de outra pessoa. Você envia dados para uma API de terceiros, ela devolve um resultado, e você o exibe ao seu usuário. A empresa do wrapper não constrói o modelo. Não o treina. Não entende seus modos de falha. Não controla suas atualizações.

A Rite Aid estava rodando um wrapper. Uma camada fina de fluxo de trabalho de segurança de varejo sobre as APIs de reconhecimento facial em caixa-preta dos fornecedores. Quando essas APIs produziam lixo, a Rite Aid não tinha como saber, não tinha como intervir e — como a FTC deixou claro — não tinha como escapar da responsabilidade.

Essa é a assimetria que mata empresas: você assume 100% da responsabilidade por um sistema sobre o qual tem 0% de visibilidade.

Escrevi sobre essa divisão arquitetural em profundidade na versão interativa da nossa pesquisa, mas o argumento central é simples. Wrappers são adequados para aplicações de baixo risco. Resumir anotações de reunião. Gerar textos de marketing. Coisas em que uma resposta errada é irritante, não ruinosa.

Mas no momento em que seu sistema de IA pode fazer alguém ser preso, ter um empréstimo negado, ser demitido ou publicamente humilhado — e o reconhecimento facial no varejo pode fazer todas essas coisas — um wrapper é uma bomba de responsabilidade com um cronômetro em contagem regressiva.

Como Construir uma IA Que Sabe Quando Não Sabe?

Há um momento ao qual sempre volto. Estávamos construindo um pipeline de identificação para um cliente, e uma das minhas engenheiras rodou um lote de imagens de teste pelo sistema. Os números de precisão pareciam ótimos — acima de 95%. Todos ficaram satisfeitos. Então pedi a ela que rodasse o mesmo lote com as distribuições de confiança visíveis.

A sala ficou em silêncio.

Uma parcela significativa daquelas identificações "corretas" tinha distribuições de incerteza tão amplas que eram essencialmente cara ou coroa que por acaso acertaram. O modelo estava adivinhando com confiança, não identificando com confiabilidade. Se tivéssemos entregue aquele sistema apenas com a pontuação de precisão, não seríamos diferentes dos fornecedores que venderam o software à Rite Aid.

Este é o problema central de como a maioria da IA é implantada: cada resultado é tratado como uma verdade binária quando na verdade é uma estimativa probabilística. O modelo não diz "este é John Smith". Ele diz "com base no que vi, há uma chance de X% de que isto seja John Smith, mais ou menos Y". Mas a maioria dos sistemas descarta a parte do "mais ou menos Y" e mostra apenas o X.

Na Veriprajna, incorporamos o que se chama de Quantificação de Incerteza (UQ) em todo sistema de alto risco. Existem dois tipos de incerteza que importam:

A incerteza aleatória vem do ruído nos próprios dados — má iluminação, desfoque por movimento, uma lente de câmera arranhada. Isso não dá para eliminar com treinamento. Se a imagem está sem informação, nenhum modelo do mundo consegue alucinar essa informação de volta de forma confiável.

A incerteza epistêmica vem das próprias limitações do modelo — ele não viu exemplos suficientes de um determinado grupo demográfico, ou nunca encontrou essa condição específica de iluminação. Essa pode ser reduzida com melhores dados de treinamento.

Sistemas frágeis — wrappers — não distinguem entre essas. Um sistema pode reportar 85% de confiança em uma correspondência, e isso soa sólido. Mas nossa camada de UQ pode revelar que a distribuição de incerteza em torno desses 85% é enorme, o que significa que o número é estatisticamente sem sentido dada a qualidade da entrada.

Um sistema de IA que não consegue lhe dizer o quão incerto está não é uma ferramenta — é uma armadilha.

Usamos técnicas como a predição conforme para garantir que as estimativas de incerteza do sistema fiquem dentro de limites matematicamente demonstráveis. Os detalhes técnicos estão em nosso artigo de pesquisa completo, mas a consequência prática é esta: antes de tomar qualquer ação, o sistema pode lhe dizer se sua resposta é confiável. E, se não for, ele encaminha para um humano.

O Problema do Conjunto Aberto Sobre o Qual Ninguém Fala

Eis algo que ainda me surpreende quando converso com compradores empresariais: quase nenhum deles conhece a diferença entre reconhecimento de conjunto fechado e conjunto aberto.

Um sistema de conjunto fechado presume que a pessoa sendo escaneada está definitivamente no banco de dados. Pense em desbloquear seu celular — o telefone sabe que seu rosto está cadastrado. Ele só precisa verificar que é você.

Um sistema de segurança de varejo é o oposto. A grande maioria das pessoas que entra em uma loja não está em nenhum banco de dados criminal. Isso é um problema de conjunto aberto. E eis o descompasso catastrófico: a maioria dos softwares comerciais de reconhecimento facial é otimizada para desempenho de conjunto fechado, porque é ali que os benchmarks parecem impressionantes.

O que acontece quando você implanta um modelo de conjunto fechado em um ambiente de conjunto aberto? Ele tenta encontrar a "melhor correspondência" para todo e qualquer rosto, porque presume que uma correspondência deve existir. Foi quase certamente isso que gerou os milhares de falsos positivos na Rite Aid. O sistema não estava com defeito. Estava fazendo exatamente aquilo para o qual foi projetado — em um ambiente para o qual nunca foi projetado.

Construir para conjunto aberto significa treinar seu modelo não apenas para identificar correspondências, mas para rejeitar com precisão as não correspondências. Para dizer "não conheço esta pessoa" com tanta precisão quanto diz "reconheço esta pessoa". Isso exige funções de perda diferentes, métricas de avaliação diferentes e uma filosofia de design fundamentalmente diferente.

O NIST — o Instituto Nacional de Padrões e Tecnologia — realiza o Teste de Fornecedores de Reconhecimento Facial (FRVT), que é o padrão-ouro global para avaliar esses sistemas. O NIST mede a Taxa de Falsa Não Correspondência a uma Taxa de Falsa Correspondência fixa. Para aplicações de alta segurança, esse limiar de falsa correspondência é fixado em um em um milhão. Um em um milhão.

A Rite Aid nunca foi avaliada em relação aos padrões do NIST. Nem, aparentemente, o sistema que identificou Harvey Murphy.

Descarte de Modelos: A Opção Nuclear

Há um detalhe no acordo da FTC com a Rite Aid que deveria aterrorizar toda empresa que constrói IA sobre dados questionáveis.

A Rite Aid não foi apenas obrigada a parar de usar reconhecimento facial. Foi ordenada a apagar todos os dados biométricos que havia coletado e destruir quaisquer modelos ou algoritmos de IA derivados desses dados. A FTC chamou isso de "descarte de modelos" — forçar uma empresa a essencialmente desaprender tudo o que seus modelos haviam absorvido de dados não conformes.

Pense no que isso significa operacionalmente. Anos de coleta de dados. Modelos treinados e refinados ao longo do tempo. Conhecimento institucional embutido nos pesos de redes neurais. Tudo isso — perdido. Não porque os modelos deixaram de funcionar, mas porque os dados sobre os quais foram construídos foram obtidos sem as devidas salvaguardas.

Esta é a nova realidade regulatória. Se os seus dados de treinamento estão contaminados — coletados sem consentimento, enviesados em sua composição ou obtidos em violação de leis de privacidade —, os modelos construídos sobre esses dados também estão contaminados. E os reguladores agora têm as ferramentas para obrigá-lo a destruí-los.

A maioria das arquiteturas wrapper sequer consegue realizar uma remoção cirúrgica de dados. Elas não têm o rastreamento de proveniência para saber quais dados influenciaram quais pesos do modelo. Sistemas de IA profunda, construídos com a linhagem de dados em mente, conseguem. Não é um recurso que você valoriza até a FTC bater à sua porta.

Por Que o "Humano no Circuito" Não É Apenas uma Caixa de Seleção

As pessoas sempre me perguntam se a solução é simplesmente colocar um revisor humano à frente de cada decisão de IA. A resposta é sim — mas com uma ressalva enorme. Um processo de revisão humana mal projetado é pior do que nenhuma revisão, porque cria a ilusão de supervisão.

Na Rite Aid, havia humanos no circuito. Funcionários das lojas recebiam alertas automatizados e eram instruídos a agir com base neles. Mas não tinham nenhum treinamento sobre taxas de falsos positivos. Nenhuma interface mostrando a qualidade da imagem original. Nenhum protocolo para questionar o resultado do sistema. Eram, na prática, carimbos de aprovação para um algoritmo.

Nós projetamos sistemas de humano no circuito (HITL) com limiares de confiança que roteiam as decisões adequadamente. Abaixo de 70% de confiança? Rejeição automática — não desperdice o tempo de um humano com ruído óbvio. Entre 70% e 95%? Sinalize para revisão humana, com a imagem de origem original exibida ao lado da correspondência, para que o revisor possa fazer um julgamento fundamentado. Acima de 95% em uma tarefa de baixa consequência? Aprovação automática, mas registre tudo.

O ponto-chave é que o revisor humano precisa ter contexto suficiente para realmente anular a máquina. Se tudo o que ele vê é "CORRESPONDÊNCIA — 87% de confiança", ele vai se curvar ao número toda vez. Se ele vê a imagem granulada de CCTV ao lado da foto de galeria e consegue notar as diferenças óbvias — formato de orelha diferente, linha da mandíbula diferente, uma diferença de idade de 20 anos —, ele se torna uma rede de segurança genuína em vez de uma decorativa.

Tive uma discussão com o CTO de um cliente sobre isso. Ele queria minimizar a revisão humana para reduzir custos. Eu lhe disse que o custo de um único processo como o de Harvey Murphy excederia uma década de salários de revisores humanos. Ele não gostou de ouvir isso. Ele também não foi processado.

As Muralhas Regulatórias Estão Se Fechando

A Lei de IA da UE classifica os sistemas de identificação biométrica como de alto risco por padrão. Avaliações de conformidade obrigatórias. Documentação técnica detalhada. Supervisão humana efetiva — não a do tipo Rite Aid, a de verdade. Certos usos, como raspar imagens faciais da internet para dados de treinamento, são banidos por completo.

Nos EUA, o Framework de Gestão de Riscos de IA do NIST estabelece quatro funções — Governar, Mapear, Medir, Gerenciar — que juntas formam o modelo para uma implantação responsável de IA. A ação da FTC contra a Rite Aid foi, essencialmente, uma aplicação desses princípios antes que eles se tornassem lei formal. A mensagem é clara: se você não consegue explicar como sua IA funciona, não consegue medir seus vieses e não consegue gerenciar suas falhas, você será responsabilizado.

Eu digo a mesma coisa a todo conselho que assessoro: alinhe-se com os padrões da Lei de IA da UE agora, mesmo que você opere apenas nos EUA. A regulação nacional está chegando, e as empresas que trataram a conformidade como um problema futuro vão se ver na posição da Rite Aid — correndo para destruir modelos e reconstruir do zero sob um decreto de consentimento.

O Viés Não Está no Algoritmo — Está na Preguiça

Uma coisa que me frustra no debate público sobre viés em IA é a insinuação de que o viés é alguma propriedade misteriosa e intratável da inteligência artificial. Não é. É o resultado de atalhos de engenharia específicos e identificáveis.

Você treina um modelo com um conjunto de dados composto por 80% de rostos de pele clara? Ele terá desempenho pior em rostos de pele escura. Você pula a redução adversarial de viés — a técnica em que você treina uma rede concorrente para detectar se seu modelo está usando raça ou gênero como característica oculta? Seu modelo vai codificar esses vieses de forma invisível. Você implanta sem testar entre grupos demográficos usando os dados de benchmark do NIST? Você nem vai saber que o viés existe até que alguém se machuque.

O viés algorítmico não é um mistério. É o que acontece quando engenheiros otimizam para velocidade em vez de equidade, e organizações otimizam para custo em vez de segurança.

Cada um desses problemas tem uma solução técnica conhecida. Redução adversarial de viés. Restrições de equidade na função de perda. Fusão de características em múltiplas escalas para lidar com tons de pele e condições de iluminação variados. Detecção de ataques de apresentação para flagrar tentativas de falsificação. Isso não é teórico — está implantado em sistemas de produção hoje. Inclusive nos nossos.

A razão pela qual a maioria das empresas não os implementa é a mesma razão pela qual a Rite Aid não testou a precisão de seu fornecedor: custa mais, leva mais tempo e ninguém o obriga a fazer isso. Até que obriguem. E aí custa tudo.

O Que Eu Realmente Penso Sobre o Futuro da IA Empresarial

Passei anos construindo sistemas projetados para duvidar de si mesmos antes de agir. Isso pode soar como algo estranho para um fundador de empresa de IA dizer. Eu não deveria estar vendendo confiança?

Não. Eu estou vendendo confiança calibrada. Há uma diferença.

As empresas que vão sobreviver à próxima década de regulação e responsabilidade em IA são as que constroem sistemas capazes de dizer "não sei" com a mesma precisão com que dizem "tenho certeza". Que tratam cada resultado automatizado como uma hipótese a ser validada, não como um veredito a ser executado. Que projetam para o pior cenário — o caso Harvey Murphy — e não para o cenário de demonstração.

A Rite Aid perdeu suas capacidades biométricas por cinco anos e teve que destruir seus modelos. A Macy's e a Sunglass Hut enfrentam um processo de US$ 10 milhões e o tipo de dano à reputação que nenhuma agência de relações públicas consegue desfazer. Essas não são histórias de advertência dos primórdios de uma tecnologia arriscada. Estão acontecendo agora, com sistemas que as empresas compraram prontos e implantaram sem entender.

A era do wrapper na IA empresarial está terminando. Não porque os wrappers não funcionem — eles funcionam bem para tarefas de baixo risco. Mas porque o que está em jogo não para de aumentar, as regulações não param de apertar, e o custo de uma resposta errada e confiante não para de crescer.

Harvey Murphy estava em Sacramento. O algoritmo disse que ele estava em Houston. E, por dez dias, o algoritmo venceu.

Isso não é um problema de IA. É um problema de arquitetura. E arquitetura é uma escolha.