O Algoritmo Que Devorou uma Cidade: O Que o Colapso do Policiamento Preditivo Me Ensinou Sobre Construir uma IA Digna de Confiança

Eu estava sentado em uma sala de reuniões no fim de 2023, assistindo a um cliente em potencial demonstrar sua ferramenta interna de IA — um chatbot que eles haviam montado para ajudar sua equipe de conformidade a sinalizar riscos em documentos financeiros. A interface era elegante. As respostas eram rápidas. E cerca de uma em cada quatro respostas estava confiante e perigosamente errada.

Quando apontei uma alucinação — o modelo havia inventado uma citação regulatória que não existia — o VP de Engenharia deu de ombros. "É, a gente sabe disso. Estamos torcendo para que a próxima atualização do modelo resolva."

Aquele momento cristalizou algo em que eu vinha pensando havia meses. O mundo corporativo caminhava sonâmbulo para exatamente a mesma armadilha que já havia destruído a confiança pública no policiamento movido a IA em todos os Estados Unidos. Não porque a tecnologia fosse inerentemente maligna, mas porque as pessoas que a implementavam haviam confundido ter um sistema de IA com governar um.

Na Veriprajna, construímos soluções profundas de IA para ambientes corporativos de alto risco. Mas, para explicar por que as construímos da forma que construímos — com governança incorporada desde o dia zero, com explicabilidade como algo inegociável, com restrições matemáticas de equidade entrelaçadas ao processo de treinamento —, primeiro preciso levá-lo a um lugar incômodo. Preciso levá-lo a Chicago.

56% dos Jovens Negros de uma Cidade, Sinalizados por uma Máquina

A Lista de Sujeitos Estratégicos de Chicago — chamada internamente de "lista de calor" — deveria ser o futuro do policiamento inteligente. Em vez de saturar bairros com policiais, o algoritmo identificaria indivíduos específicos com maior probabilidade de se envolver em violência armada, seja como autores ou como vítimas. Precisão em vez de força bruta. Dados em vez de intuição.

A lista inchou para mais de 400.000 pessoas.

Deixe esse número repousar por um instante. Em uma cidade de 2,7 milhões de habitantes, o algoritmo decidiu que 400.000 indivíduos mereciam ser sinalizados. E os dados demográficos eram estarrecedores: 56% dos homens negros de Chicago com idades entre 20 e 29 anos acabaram nessa lista. Em West Garfield Park, 73% dos homens negros entre 10 e 29 anos foram sinalizados. Noventa e seis por cento dos indivíduos que o sistema classificou como "suspeitos de participação em gangues" eram negros ou latinos.

Eis o que me deixou perplexo quando examinei pela primeira vez os dados da auditoria: 57% dos alvos prioritários do algoritmo nunca haviam sido presos por um crime violento. O sistema puxava contravenções de baixa gravidade — coisas como posse de pequenas quantidades de drogas ou perturbação da ordem — e as tratava como sinais preditivos de futura violência armada. Estava usando a máquina do policiamento excessivo como prova para justificar ainda mais policiamento.

Quando um algoritmo trata as consequências do viés como prova de que o viés se justifica, você não tem um motor de previsão. Você tem uma máquina de discriminação rodando no piloto automático.

O Escritório do Inspetor-Geral de Chicago acabou documentando o que muitas organizações comunitárias vinham gritando havia anos: a SSL era enviesada segundo linhas raciais e amplamente ineficaz na redução das taxas de homicídio. Ela foi desativada no fim de 2019, mas não antes de ter enviado policiais a visitas não anunciadas a milhares de pessoas cujo único "crime" era morar em um bairro que o algoritmo havia decidido ser perigoso.

Por Que o Modelo de Terremotos Falhou em Prever o Crime?

A três mil milhas a oeste, o LAPD conduzia seu próprio experimento. A Geolitica — antiga PredPol — usava um modelo originalmente projetado para prever réplicas de terremotos. A lógica era sedutora: assim como os tremores se agrupam no espaço e no tempo, certos tipos de crime seguem padrões espaço-temporais previsíveis. Alimente o algoritmo com dados históricos de incidentes — local, horário, tipo de crime — e ele geraria "caixas de hotspot" de 500 por 500 pés quadrados dizendo aos policiais onde patrulhar.

Lembro de ler a documentação técnica e pensar: isto é elegante. A matemática era limpa. A interface era intuitiva. E os resultados foram catastróficos.

Uma auditoria de 2019 do Inspetor-Geral do LAPD encontrou "inconsistências significativas" no lançamento de dados. Os policiais registravam o tempo de patrulha em instalações policiais em vez de em campo, contaminando os dados de hotspot. O sistema não conseguia isolar seu próprio impacto das tendências mais amplas de policiamento. E em jurisdições comparáveis, como Plainfield, Nova Jersey, a taxa de acerto das previsões foi documentada em menos de 1%.

Menos de um por cento. Um cara ou coroa teria sido mais útil.

Mas o problema mais profundo não era a precisão — era o ciclo de retroalimentação. Quando o algoritmo sinalizava um bairro predominantemente negro ou latino como um hotspot, mais policiais iam até lá. Mais policiais significavam mais abordagens. Mais abordagens significavam mais prisões por infrações menores que não seriam aplicadas em áreas mais ricas e mais brancas. Essas novas prisões voltavam para os dados de treinamento como "prova" de alta criminalidade, e o algoritmo obedientemente intensificava suas previsões para aquele mesmo bairro.

Os dados da Lei de Perfilamento Racial e de Identidade da Califórnia (RIPA) deixaram isso escancarado em números difíceis de contestar: indivíduos negros eram abordados 126% mais frequentemente do que o esperado com base em sua parcela da população. Os policiais realizaram 4,7 milhões de abordagens a veículos e pedestres em 2023. E aqui está o detalhe decisivo — quando os policiais revistavam indivíduos negros e latinos em taxas mais altas, eles eram consistentemente menos propensos a encontrar contrabando em comparação com as revistas a indivíduos brancos.

Os dados nos diziam, em linguagem estatística clara, que o sistema estava errado. E o sistema continuou funcionando mesmo assim.

O LAPD finalmente encerrou sua relação com a Geolitica no início de 2024. Escrevi sobre as implicações mais amplas dessas falhas — e o que elas significam para a arquitetura de IA corporativa — na versão interativa da nossa pesquisa.

O Que Acontece Quando Ninguém Consegue Abrir a Caixa-Preta?

Há um termo na filosofia da ciência que surgia repetidamente na minha pesquisa: opacidade epistêmica. Significa que o sistema é tão complexo que nem mesmo as pessoas que o operam conseguem entender plenamente como ele chega às suas conclusões.

A maioria dos sistemas de policiamento preditivo eram caixas-pretas proprietárias. As entradas de dados específicas, os fatores ponderados, a lógica das previsões — tudo oculto como segredos comerciais. Os departamentos de polícia que usavam essas ferramentas muitas vezes não conseguiam explicar por que uma pessoa ou bairro específico era sinalizado, mesmo quando organizações de liberdades civis exigiam respostas.

Isto não é apenas um problema de policiamento. É a vulnerabilidade que define a forma como a maioria das empresas está implementando IA neste momento.

Penso naquele chatbot de conformidade que vi demonstrado. O VP de Engenharia não conseguia me dizer quais documentos o modelo havia de fato recuperado para gerar sua resposta. Não conseguia explicar por que ele havia alucinado uma citação regulatória. Não conseguia me dizer se o sistema daria uma resposta diferente amanhã caso a mesma pergunta fosse feita. E o plano dele era esperar que a OpenAI lançasse um modelo melhor.

Isso não é uma estratégia de IA. Isso é uma prece.

O Ciclo de Retroalimentação Descontrolado Não É Apenas um Problema de Policiamento

É aqui que preciso fazer a conexão que, acredito, a maioria das pessoas na IA corporativa está deixando escapar.

O ciclo de retroalimentação que destruiu o policiamento preditivo — no qual saídas enviesadas geram dados de treinamento enviesados, que geram saídas ainda mais enviesadas — não é exclusivo da aplicação da lei. É uma propriedade estrutural de qualquer sistema de IA que aprende com seu próprio ambiente operacional sem validação independente.

Pense em uma ferramenta de contratação movida a IA que faz a triagem de currículos. Se ela for treinada com dados históricos de contratação de uma empresa que contratou predominantemente homens para cargos de engenharia, ela aprenderá a associar a linguagem de conotação masculina a "bons candidatos". Ela rebaixará as mulheres. A empresa contratará menos mulheres. Esses dados de contratação retornarão ao próximo ciclo de treinamento, e o viés se aprofundará.

Ou considere um modelo de subscrição financeira treinado com aprovações históricas de empréstimos. Se os antigos analistas de crédito tinham maior probabilidade de aprovar solicitações de determinados CEPs — CEPs que por acaso se correlacionam com raça devido a décadas de redlining — o modelo aprenderá esses padrões. Ele negará empréstimos a solicitantes qualificados dessas áreas. Essas negativas se tornarão dados de treinamento. O ciclo continua.

Os sistemas de IA mais perigosos não são os que estão claramente quebrados. São os que funcionam apenas o suficiente para escapar do escrutínio, enquanto silenciosamente codificam os vieses de seus dados de treinamento em decisões automatizadas em escala.

É por isso que fico frustrado quando ouço líderes corporativos falarem de governança de IA como algo "bom de ter" ou uma iniciativa de "fase dois". Governança não é um recurso que você acopla depois do lançamento. É a própria arquitetura.

Por Que os Wrappers de LLM Estão Falhando em Ambientes de Alto Risco?

Deixe-me ser direto sobre uma coisa: a era dos wrappers de LLM simples está chegando ao fim, e a maioria das empresas ainda não percebeu isso.

Um wrapper de LLM — uma fina camada de engenharia de prompt e uma interface bonita sobre um modelo fundacional como o GPT-4 ou o Claude — funciona bem para redigir e-mails e resumir anotações de reuniões. Não funciona para revisão jurídica, conformidade financeira, triagem médica ou qualquer domínio em que uma resposta errada tenha consequências materiais.

Testamos isso com rigor na Veriprajna. Na triagem de vulnerabilidades de segurança — um domínio em que é preciso distinguir entre um bug menor e um exploit crítico — um wrapper de LLM ingênuo alcançou cerca de 51% de precisão. Isso é pouco melhor do que o acaso. Faltavam ao modelo as ferramentas especializadas e o conhecimento de domínio para fazer distinções significativas. E havia outro problema, que passei a chamar de fenômeno de "ficar em cima do muro": os alinhamentos de segurança embutidos nos modelos fundacionais os deixavam relutantes em assumir posições firmes em casos ambíguos. Em um contexto de triagem, a ambiguidade é o trabalho inteiro. Uma IA que se esquiva em cada caso limítrofe não está potencializando sua equipe — está criando mais trabalho.

Nossa arquitetura multiagente, por outro lado — com agentes componíveis, fluxos de trabalho estruturados e bases de conhecimento específicas de domínio — atingiu 89% de precisão nos mesmos benchmarks. Não porque usamos um modelo "melhor", mas porque construímos um sistema em vez de um wrapper.

Essa diferença — 51% contra 89% — é a diferença entre uma IA que gera texto plausível e uma IA que de fato raciocina sobre um domínio.

Como É, na Prática, a Equidade Matemática?

Uma das coisas que aprendi ao construir a Veriprajna é que a "equidade" na IA não pode ser uma sensação. Ela tem que ser um número.

Quando construímos sistemas para ambientes de alto risco, definimos a equidade matematicamente e a monitoramos continuamente. Duas métricas importam mais:

Paridade Demográfica pergunta: a probabilidade de um resultado positivo é independente de um atributo protegido como raça ou gênero? Se a sua IA de contratação aprova 60% dos candidatos homens e 35% das candidatas mulheres, você foi reprovado nesse teste.

Probabilidades Equalizadas vai mais fundo: as taxas de verdadeiros positivos e de falsos positivos são iguais entre os grupos? Isso importa porque um sistema poderia alcançar a paridade demográfica aprovando aleatoriamente mais candidaturas de grupos sub-representados — sem de fato ficar melhor em identificar candidatos qualificados.

Ambas as métricas precisam ser monitoradas simultaneamente, e nenhuma é suficiente sozinha. É por isso que nossa estratégia de mitigação de viés atua em todo o ciclo de vida da IA: reponderando os dados de treinamento antes mesmo de o modelo vê-los, incorporando restrições de equidade diretamente ao processo de treinamento por meio de técnicas como a remoção adversarial de viés, e calibrando os limiares de decisão após o treinamento para garantir resultados equitativos entre os grupos demográficos.

Sei que isso soa técnico. Mas aqui vai a versão em bom português: se você não consegue expressar seus critérios de equidade como uma equação matemática, você não tem critérios de equidade. Você tem um comunicado à imprensa.

A Onda Regulatória Para a Qual a Maioria das Empresas Não Está Preparada

Enquanto as empresas estavam ocupadas experimentando chatbots, os reguladores estavam ocupados escrevendo leis.

Mais de 40 cidades dos EUA passaram a proibir ou restringir rigorosamente o policiamento preditivo e tecnologias de IA relacionadas, como o reconhecimento facial. San Francisco foi a primeira, em 2019. Boston, Portland e Santa Cruz vieram em seguida. Em março de 2024, a Casa Branca emitiu uma política histórica exigindo que agências federais conduzam testes independentes e avaliações de impacto obrigatórias para quaisquer sistemas de IA que afetem direitos.

Isto não é apenas um problema do governo. A Lei de IA da UE, a Estrutura de Gestão de Riscos de IA do NIST, a ISO 42001 — essas estruturas estão convergindo para uma única mensagem: se você implementa IA em decisões de alto risco, será obrigado a provar que ela é justa, explicar como ela funciona e demonstrar que a monitora continuamente.

As empresas que tiverem uma infraestrutura de governança implantada vão se adaptar. As que construíram wrappers de LLM e chamaram isso de "estratégia de IA" vão se atrapalhar.

Já vi esse padrão antes, na cibersegurança. Empresas que trataram a segurança como algo secundário passaram anos correndo atrás do prejuízo quando as regulamentações chegaram. As que incorporaram a segurança à sua arquitetura desde o início mal notaram. A governança de IA está seguindo a mesma trajetória, só que mais rápido.

Para o detalhamento técnico completo de como alinhamos nossa estrutura de governança ao NIST, à ISO 42001 e à Lei de IA da UE, veja nosso artigo de pesquisa.

"É Só Usar o GPT" e Outros Erros Caros

As pessoas me perguntam o tempo todo por que as empresas não deveriam simplesmente usar um modelo fundacional com um pouco de engenharia de prompt e dar por encerrado. A resposta é o mesmo motivo pelo qual o LAPD não deveria ter usado um modelo de terremotos para prever o crime.

A ferramenta não é o problema. A suposição é.

A suposição é que um sistema de propósito geral — seja um algoritmo de sismologia ou um grande modelo de linguagem treinado na internet — pode ser inserido em um domínio especializado e de alto risco sem mudanças arquiteturais fundamentais. Sem camadas de raciocínio específicas de domínio. Sem explicabilidade. Sem monitoramento contínuo de viés. Sem governança.

Essa suposição já foi testada. No policiamento, ela destruiu a confiança pública, prejudicou centenas de milhares de pessoas e provocou uma reação regulatória em todo o país. Na IA corporativa, as consequências se desenrolam de forma mais silenciosa — em citações jurídicas alucinadas, em decisões de contratação enviesadas, em falhas de conformidade que só virão à tona quando uma auditoria ou um processo judicial as trouxer à luz.

A questão não é se a sua IA vai cometer um erro. A questão é se você vai saber quando ela cometer — e se você construiu a arquitetura para detectá-lo antes que ele se agrave.

Na Veriprajna, não começamos com um modelo. Começamos com os dados. Nós os auditamos quanto a qualidade, acessibilidade e viés histórico antes que um único parâmetro seja treinado. Construímos arquiteturas multiagente nas quais camadas de raciocínio especializadas podem realizar pesquisa profunda em vez de depender de chamadas zero-shot a um modelo de propósito geral. Implementamos validação de IA explicável para que toda decisão possa ser rastreada, questionada e defendida. E monitoramos continuamente — não apenas a precisão, mas o desvio de equidade, porque o que era equitativo seis meses atrás pode não ser equitativo hoje, caso a distribuição dos dados subjacentes tenha mudado.

Isto não é mais caro do que a abordagem de wrapper. É mais barato — porque o custo de implantar um sistema de IA não governado em um ambiente de alto risco não é medido em horas de engenharia. É medido em processos judiciais, multas regulatórias, danos à reputação e no custo humano de decisões automatizadas que ninguém consegue explicar ou defender.

A Sala Onde Isso Acontece

Quero terminar com um momento que fica comigo.

Estávamos imersos na construção de uma nova camada de raciocínio para um cliente do setor de serviços financeiros. A equipe vinha discutindo havia dois dias se deveria priorizar a precisão ou a explicabilidade em um módulo específico — uma daquelas discussões em que todos estão tecnicamente certos e a verdadeira questão é sobre valores, não sobre engenharia.

Minha engenheira-chefe finalmente disse algo que silenciou a sala: "Se não conseguimos explicar por que este modelo negou um empréstimo a alguém, então não construímos um sistema de IA. Construímos uma versão mais eficiente do problema que fomos contratados para resolver."

Ela estava certa. E essa frase se tornou algo próximo de um princípio de design para tudo o que construímos.

Os fracassos do policiamento preditivo — as 400.000 pessoas na lista de calor de Chicago, a precisão de menos de 1% em Plainfield, os ciclos de retroalimentação que transformaram o racismo histórico em certeza matemática — não são histórias de advertência de um setor diferente. São a prévia mais clara possível do que acontece quando você implementa IA sem a arquitetura para conquistar confiança.

O caminho a seguir não é abandonar a IA. É parar de tratar a governança como um custo acessório e começar a tratá-la como o produto. As empresas que entenderem isso construirão sistemas que sobrevivem ao escrutínio. As que não entenderem aprenderão a lição que o LAPD aprendeu, que a Polícia de Chicago aprendeu, e que aquele chatbot de conformidade acabará aprendendo: um sistema de IA sem integridade não é uma ferramenta. É um passivo com uma interface bonita.