Uma multa de US$ 2,5 milhões expôs o que realmente há de errado na IA de crédito — e não é o que você imagina

Eu estava sentado no meu home office numa quinta-feira à noite, em julho de 2025, navegando pelo comunicado à imprensa do Procurador-Geral de Massachusetts sobre a Earnest Operations, quando senti algo que não esperava: alívio.

Não porque um credor foi multado em US$ 2,5 milhões por discriminação movida por IA contra tomadores negros e hispânicos. Isso era revoltante. O alívio veio de outra coisa — da especificidade das acusações. O gabinete do Procurador-Geral não disse apenas "sua IA é enviesada". Eles nomearam a variável exata. Rastrearam o mecanismo exato. Mostraram, em detalhes minuciosos, como um dado aparentemente neutro — o Cohort Default Rate da faculdade do tomador — se tornou um canal de discriminação racial cravada no código.

Durante anos, minha equipe na Veriprajna e eu viemos argumentando que a forma como a maioria das fintechs implementa IA no crédito é arquiteturalmente quebrada. Não apenas eticamente questionável — estruturalmente incapaz de ser justa. O acordo da Earnest foi a primeira grande ação de fiscalização que provou que estávamos certos, na linguagem que os reguladores de fato usam.

E não será a última.

A variável que parecia inofensiva

Foi isso que a Earnest fez, e quero que você reflita sobre isso, porque é mais sutil do que "o algoritmo era racista".

A Earnest construiu um modelo de refinanciamento de crédito estudantil movido a IA. Uma das entradas era o Cohort Default Rate, ou CDR — uma métrica que acompanha com que frequência os formados de uma escola específica ficam inadimplentes em seus empréstimos federais. No papel, isso parece razoável. Escolas com altas taxas de inadimplência podem produzir tomadores que têm dificuldade para pagar. Por que você não levaria isso em conta?

Porque o CDR não mede a capacidade de crédito individual. Ele mede resultados institucionais. E esses resultados são moldados por décadas de subfinanciamento sistêmico, lacunas de riqueza intergeracionais e segregação racial no ensino superior. As faculdades e universidades historicamente negras (HBCUs) têm CDRs mais altos não porque seus formados sejam menos capazes, mas porque o sistema deu a essas instituições — e a seus alunos — menos recursos para trabalhar.

Quando você penaliza um indivíduo pelo histórico estatístico de sua instituição, você não está prevendo risco. Você está perpetuando-o.

O Procurador-Geral de Massachusetts alegou que o poder preditivo do CDR não vinha de nenhum sinal sobre o tomador, mas de sua correlação com raça e classe socioeconômica. Um formado negro de uma HBCU com crédito impecável, renda sólida e zero pagamentos atrasados teria uma pontuação menor do que um formado branco de uma universidade estadual bem financiada — por causa de onde estudou, não do que fez depois.

Lembro de abrir os documentos do acordo e lê-los em voz alta para minha cofundadora ao telefone. "Eles também tinham regras de eliminação", eu disse. "Travas codificadas diretamente no sistema que negavam automaticamente qualquer pessoa sem pelo menos um green card." Houve uma longa pausa. "Então o viés estava na arquitetura desde o começo", ela disse. Sim. Desde a primeiríssima linha da árvore de decisão.

Por que ninguém percebeu isso?

Essa é a parte que me manteve acordado naquela noite. A Earnest tinha políticas internas. Tinha requisitos de supervisão de modelos. Tinha processos de revisão sênior para exceções.

Nada disso funcionou.

A investigação revelou que os analistas de crédito rotineiramente contornavam o modelo ou aplicavam critérios arbitrários sem documentação. A salvaguarda do human-in-the-loop — aquilo para o que toda empresa de IA aponta quando os reguladores batem à porta — era teatro. Não havia registro consistente. Nenhuma revisão independente. Nenhuma trilha de auditoria capaz de dizer por que um determinado override aconteceu.

Já vi esse padrão tantas vezes que demos um nome a ele internamente: cosplay de governança. A instituição tem todas as políticas certas no papel. O organograma mostra um time de compliance. O deck do conselho menciona "IA responsável". Mas quando você abre o capô, não há mecanismo conectando a política ao código. O algoritmo roda em um universo; o framework de governança existe em outro.

O caso Earnest deixou isso explícito. Tanto o viés algorítmico quanto o viés humano não monitorado coexistiam no mesmo sistema, tornando-o — como escrevi em nossa análise interativa do caso — fundamentalmente impossível de auditar e defender.

O que acontece quando a disparidade é de 29 pontos percentuais?

Se a Earnest foi o caso bisturi — preciso, no nível da variável, rastreável — então a Navy Federal Credit Union é a marreta.

Em 2022, a Navy Federal, a maior cooperativa de crédito dos Estados Unidos, aprovou cerca de 77% dos solicitantes brancos de hipotecas convencionais. E os solicitantes negros? 48,5%. Isso é uma diferença de quase 29 pontos percentuais — a maior entre os 50 maiores credores hipotecários do país.

A defesa da Navy Federal era previsível: "Os dados públicos do HMDA não incluem pontuações de crédito nem dinheiro em caixa. Você não pode tirar conclusões sem o quadro completo." É a mesma defesa a que toda instituição recorre. E talvez tivesse funcionado uma década atrás.

Desta vez não funcionou. Quando pesquisadores independentes controlaram mais de uma dúzia de variáveis — renda, relação dívida/renda, valor do imóvel, características do bairro — os solicitantes negros ainda tinham mais que o dobro de probabilidade de serem negados do que solicitantes brancos com perfis idênticos.

Lembro de apresentar esses números em uma conferência de fintech no ano passado. Um membro da plateia — um VP de risco de um credor de médio porte — levantou a mão e disse: "Mas talvez haja algo nos dados que não estamos enxergando. Algum fator legítimo." Eu perguntei a ele: "Se o seu modelo produz uma diferença racial de 29 pontos que persiste depois de controlar todas as variáveis que você consegue nomear, em que ponto você para de procurar explicações inocentes e começa a olhar para o modelo?"

Ele não tinha uma resposta. A maior parte do setor também não tem.

Em maio de 2024, um juiz federal decidiu que as alegações de impacto desproporcional contra a Navy Federal poderiam avançar para a fase de discovery (produção de provas). Isso significa que os autores da ação poderão examinar a lógica interna do algoritmo de análise de crédito da cooperativa. A era do "nosso modelo é proprietário e complexo demais para explicar" acabou.

A disparidade estatística sozinha já basta agora para sobreviver a um pedido de extinção do processo. O ônus mudou: prove que seu processo é justo, ou enfrente o discovery.

Por que os wrappers de LLM continuam sendo reprovados no teste de equidade?

Aqui é onde preciso ser direto sobre algo que muita gente em IA não quer ouvir.

A arquitetura dominante na IA das fintechs hoje — o que eu chamo de modelo "wrapper" — é estruturalmente incapaz de atender aos padrões regulatórios que já existem, muito menos aos que chegam em 2026.

Um wrapper pega seus dados, passa-os para um grande modelo de linguagem de terceiros, como GPT-4 ou Gemini, e devolve uma saída. É rápido de construir. Fica lindo numa demonstração. E é uma bomba-relógio de compliance.

LLMs preveem o próximo token de uma sequência. Eles não recuperam fatos. Não fazem cálculos atuariais. Não raciocinam sobre causalidade. Quando você pede a um LLM que avalie uma solicitação de empréstimo, ele gera um texto que soa como uma avaliação de crédito. Mas ele pode fabricar uma justificativa para a negativa que não tem nenhuma base no arquivo real do solicitante. O setor chama isso de alucinação. Os reguladores chamam de violação.

O CFPB tem sido inequívoco: os credores devem fornecer "razões precisas e específicas" para ações adversas. Você não pode dizer a um solicitante negado que "o algoritmo decidiu" ou citar uma categoria vaga como "histórico de compras" quando o verdadeiro gatilho foi um dado não tradicional ao qual o modelo se agarrou. "O algoritmo decidiu" não é uma afirmação juridicamente defensável — o Bureau disse isso explicitamente.

E há um problema mais profundo. Os LLMs são treinados na internet. A internet está saturada de vieses históricos — raciais, de gênero, socioeconômicos. Quando seu wrapper usa um LLM para "avaliar" o histórico de emprego ou a narrativa de um tomador, o modelo pode aplicar estereótipos embutidos em seus dados de treinamento. Certas nacionalidades, certas profissões, certos códigos postais carregam peso invisível no espaço latente do modelo. Não porque alguém tenha programado o viés. Porque os dados de treinamento são o viés.

Tive uma discussão sobre isso com um investidor no começo. Ele disse: "É só usar o GPT com um bom prompt. Você está complicando demais." Eu abri uma demonstração em que alimentávamos a mesma solicitação de empréstimo através de um wrapper com duas versões — uma com um nome codificado como branco, outra com um nome codificado como negro. As saídas não eram idênticas. O tom mudava. A linguagem de risco mudava. Não dramaticamente. Sutilmente. O tipo de sutileza que, escalada por milhões de decisões, produz uma diferença de 29 pontos.

Ele parou de discutir.

O que "Deep AI" realmente significa?

Uso o termo "Deep AI" não como marketing — embora eu entenda o ceticismo — mas como uma distinção técnica em relação ao que a maior parte do setor está construindo.

Um sistema de Deep AI para crédito não chama um único modelo e devolve uma resposta. É uma arquitetura multicamadas em que diferentes tipos de inteligência lidam com diferentes tipos de decisão, e cada camada é auditável.

Motores de regras determinísticos cuidam das coisas que precisam estar 100% corretas — requisitos de residência, limites regulatórios, verificações rígidas de compliance. Essas não são probabilísticas. São lógica. Elas não alucinam.

Modelos de gradient boosting como o XGBoost cuidam da pontuação de crédito estruturada — o tipo de dado tabular em que interpretabilidade e estabilidade importam mais do que fluência linguística. Esses modelos são chatos. Também são confiáveis, explicáveis e bem compreendidos pelos reguladores.

LLMs com fine-tuning são usados — mas apenas para aquilo em que são realmente bons: extrair entidades de documentos não estruturados, analisar declarações de imposto de renda, ler extratos bancários. E são ancorados por meio de Retrieval-Augmented Generation, o que significa que o modelo só pode referenciar os documentos reais do solicitante, não as associações vagas de seus dados de treinamento.

Acima de tudo isso fica uma camada de monitoramento contínuo que acompanha o drift do modelo, o drift de viés e as taxas de alucinação em tempo real. Quando a Razão de Impacto Desproporcional — a razão entre as taxas de aprovação de grupos protegidos e grupos de controle — cai abaixo do limite de 0,8 (a regra dos quatro quintos que os reguladores usam como sinal de alerta), o sistema emite um alerta antes que qualquer reclamação humana apareça.

Isso não é aspiracional. Nós construímos assim porque a alternativa — o wrapper, a caixa-preta, o cosplay de governança — continua produzindo acordos como o da Earnest e processos como o da Navy Federal.

Como você realmente constrói equidade dentro de um modelo?

As pessoas me perguntam isso o tempo todo, e acho que esperam que a resposta seja simples. Não é. Mas também não é misteriosa.

Engenharia de equidade significa aplicar restrições matemáticas em cada estágio do ciclo de vida do modelo. Antes do treinamento, você examina seus dados em busca de lacunas de representação e usa técnicas como superamostragem sintética para equilibrar grupos demográficos sub-representados. Durante o treinamento, você implanta o debiasing adversarial — uma técnica em que um modelo secundário tenta prever a raça do solicitante a partir da saída do modelo primário. Se ele conseguir, o modelo primário está vazando informação protegida, e você o retreina até que o adversário fracasse.

Depois do treinamento, você calibra os limiares de decisão para garantir probabilidades equalizadas (equalized odds) — ou seja, que o modelo seja igualmente preciso entre grupos demográficos. Não igualmente permissivo. Igualmente preciso. Um modelo que aprova todo mundo não é justo. Um modelo que acerta na mesma proporção para todos é.

E então há a explicabilidade. Toda ação adversa que nosso sistema gera vem acompanhada de valores SHAP — um método de atribuição matematicamente rigoroso que diz exatamente quais atributos determinaram a decisão, e em que medida. Geramos explicações contrafactuais em tempo real: "Se a utilização do seu crédito fosse 15% menor, ou sua renda US$ 5.000 maior, este empréstimo teria sido aprovado." Isso não é uma cortesia. Sob a orientação atual do CFPB, está se aproximando de uma exigência.

IA justa não é um modelo que evita dizer qualquer coisa ofensiva. É um sistema em que cada decisão pode ser decomposta, contestada e defendida com matemática.

Para o detalhamento técnico completo do nosso pipeline e da nossa arquitetura de engenharia de equidade, publiquei um artigo de pesquisa detalhado que se aprofunda mais do que consigo aqui.

As paredes regulatórias estão se fechando

Deixe-me esboçar o cenário para quem acha que tem tempo.

As orientações do CFPB de 2023 e 2025 sobre avisos de ação adversa têm dentes. A SR 11-7 — o padrão de gestão de risco de modelos do Federal Reserve — agora exige solidez conceitual documentada, validação independente por equipes sem nenhuma ligação com o desenvolvimento e análise regular de resultados. O NIST AI Risk Management Framework 2.0, lançado em 2025, introduziu o conceito de uma "AI Bill of Materials" — um inventário completo de cada fonte de dados, cada modelo (incluindo APIs de terceiros) e cada interação entre componentes.

Isso não é uma orientação que você possa ignorar. Um juiz federal acaba de permitir o discovery sobre o algoritmo da Navy Federal. O Procurador-Geral de Massachusetts não apenas multou a Earnest — exigiu que a empresa reformulasse sua governança de modelos, implementasse validação independente e se submetesse a monitoramento contínuo.

A mensagem é clara: se você não consegue explicar seu modelo, não consegue defendê-lo. E se você não consegue defendê-lo, você vai pagar — em acordos, em custos de litígio, em danos reputacionais e na erosão da confiança das comunidades que você afirma servir.

Por que "buscar alternativas" é a exigência para a qual ninguém está pronto

Há um conceito regulatório que, na minha visão, vai remodelar o setor mais do que qualquer outro, e quase ninguém está falando sobre ele.

Sob a legislação atual de crédito justo, não basta mostrar que seu modelo é preciso. Você precisa buscar ativamente alternativas menos discriminatórias — modelos que alcancem desempenho preditivo comparável com uma disparidade menor. Se um autor de ação conseguir demonstrar que tal alternativa existia e você não a usou, seu modelo é reprovado no teste jurídico, independentemente de sua acurácia.

Pense no que isso significa operacionalmente. Você não pode simplesmente construir um modelo, testá-lo quanto a viés e colocá-lo no ar. Você precisa treinar múltiplas configurações — diferentes conjuntos de atributos, diferentes algoritmos, diferentes calibrações de limiar — e documentar por que escolheu a que escolheu. Você precisa de evidências de que procurou uma opção mais justa e ou a encontrou (e a adotou) ou provou que não existia alternativa materialmente menos discriminatória.

Passamos três meses construindo nosso pipeline de busca de LDA. Três meses em que minha equipe de engenharia ficava perguntando: "Será que estamos pensando demais nisso?" E aí o acordo da Earnest veio à tona, e o gabinete do Procurador-Geral citou especificamente a falha da empresa em buscar alternativas. Não estávamos pensando demais. O setor é que estava pensando de menos.

A lição da Earnest que a maioria das pessoas está perdendo

Quero encerrar com algo que vem me incomodando desde julho.

A maior parte dos comentários sobre o acordo da Earnest se concentrou na variável CDR. E sim, essa foi a manchete. Mas a falha mais profunda não foi uma variável ruim. Foi a ausência de uma arquitetura que teria detectado a variável ruim antes que ela chegasse à produção.

A Earnest não tinha validação independente de modelos. Não tinha testes sistemáticos de proxies. Não tinha registro auditável de overrides humanos. Não tinha monitoramento contínuo de viés. Tinha um modelo, um documento de política e uma lacuna entre os dois larga o suficiente para uma ação coletiva passar por ela.

Os US$ 2,5 milhões não foram o custo do viés. Foram o custo de construir IA sem a infraestrutura para saber quando o viés existe.

Essa é a distinção à qual eu sempre volto. A pergunta não é "sua IA é enviesada?" — todo modelo treinado com dados históricos carrega as impressões digitais da desigualdade histórica. A pergunta é: você tem a arquitetura para detectá-lo, medi-lo, explicá-lo e corrigi-lo antes que um regulador faça isso por você?

A maioria dos credores, se for honesta, responderia que não.

Construímos a Veriprajna porque acreditamos que a resposta precisa ser sim — não como aspiração, mas como propriedade estrutural do próprio sistema. Equidade não é um recurso que você parafusa depois do lançamento. É uma parede estrutural. Remova-a, e o prédio inteiro vem abaixo.

A primeira onda de IA no crédito foi definida por velocidade e escala. A segunda onda será definida por saber se o seu sistema sobrevive a uma intimação judicial. Eu sei para qual delas estou construindo.