A Ferramenta de Contratação com IA Que Aprendeu a Ser Sexista — E o Que Ela Me Ensinou Sobre Construir IA Justa

Há alguns meses, sentei-me diante do CHRO de uma empresa de tecnologia de médio porte que me disse, com genuíno orgulho, que haviam "resolvido o viés" em seu pipeline de contratação. Haviam comprado uma ferramenta de triagem com inteligência artificial. Ela analisava currículos, classificava candidatos e reduziu o tempo de preenchimento de vagas em 40%.

Fiz uma única pergunta: "O que a ferramenta está prevendo?"

Silêncio. Depois: "Como assim? Ela prevê quem contratar."

"Não", eu disse. "Ela prevê quem você teria contratado. Com base em uma década de dados em que sua equipe de engenharia era 84% masculina."

O sangue fugiu do rosto dele. Ele havia gastado seis dígitos em uma ferramenta que estava automatizando exatamente o viés que ele achava estar eliminando.

Essa conversa me assombra porque não é um caso isolado. É a norma. Toda a primeira geração de ferramentas de recrutamento com IA — e me refiro à esmagadora maioria do que está no mercado agora — é construída sobre uma premissa tão fundamentalmente falha que seria risível se as consequências não fossem os meios de subsistência das pessoas. Essas ferramentas usam IA preditiva treinada em dados históricos de contratação. Elas aprendem quem foi contratado no passado. E então replicam esse padrão em escala, com implacável eficiência, eliminando a única coisa que poderia ter nos salvado: o eventual recrutador humano que olhava para um candidato pouco óbvio e pensava, quer saber, vamos arriscar.

Na Veriprajna, construímos sistemas de contratação com IA de forma diferente. Usamos IA causal — não para prever quem teria sido contratado, mas para prever quem realmente vai ter bom desempenho. E então submetemos essa previsão a testes de estresse fazendo uma pergunta que a maioria dos sistemas de IA nem sequer consegue interpretar: Se este candidato fosse de um grupo demográfico diferente, nossa resposta mudaria?

Se mudasse, o modelo falha. Voltamos e o corrigimos.

Esta é a história de por que essa distinção importa mais do que qualquer outra coisa que esteja acontecendo na tecnologia de RH agora.

"Adequação Cultural" É Apenas Homofilia com Melhor Marketing

Antes de entrar na tecnologia, preciso falar sobre o problema humano — porque o problema da IA é uma consequência dele.

Existe um conceito na sociologia chamado homofilia: a tendência das pessoas de se associarem, se vincularem e preferirem outras semelhantes a si mesmas. É um dos fenômenos mais solidamente documentados nas ciências sociais. E é o motor invisível que impulsiona a maioria das decisões de contratação no mundo.

A homofilia é o motivo pelo qual um gestor de contratação que jogava rúgbi inconscientemente valoriza mais o candidato que menciona rúgbi. É por isso que "adequação cultural" — aquela frase sagrada e inatacável no vocabulário de todo recrutador — quase sempre se traduz em "esta pessoa me lembra de mim mesmo". Pesquisadores de Berkeley descobriram que entrevistadores rotineiramente confundem "habilidades de comunicação" com "fala como eu". Um candidato de um contexto socioeconômico diferente que usa um registro linguístico diferente é penalizado por "falta de polimento". O conteúdo de suas respostas mal é registrado.

Lembro-me de uma discussão acalorada com um consultor sênior no início da vida da Veriprajna. Ele insistia que adequação cultural era um critério legítimo de contratação — que equipes precisam de coesão, valores compartilhados, uma linguagem comum. Eu não discordava do princípio. Discordava da execução. Porque quando pesquisadores de fato estudam o que acontece em organizações que otimizam para "adequação cultural", eles encontram algo perturbador: essas organizações caem no que os cientistas de redes chamam de armadilhas de homofilia. Uma vez que a representação de minorias cai abaixo de cerca de 25%, a maioria contrata a maioria, e a composição demográfica se cristaliza. A inovação estagna. O pensamento de grupo domina. A organização se torna um salão de espelhos.

"Adequação cultural" soa como um critério de contratação. Na prática, é um mecanismo para clonar a equipe existente — e chamar isso de estratégia.

A solução não é abolir o conceito de alinhamento cultural. É mudar de "adequação cultural" para "adição cultural" — contratar pessoas que desafiam pressupostos em vez de confirmá-los. Mas essa mudança exige algo que a maioria dos recrutadores humanos não consegue fazer de forma confiável: avaliar a contribuição potencial de um candidato sendo genuinamente cego aos seus sinais demográficos.

O que nos leva à audição às cegas.

O Que as Orquestras Descobriram na Década de 1970

Na década de 1970, as grandes orquestras sinfônicas americanas eram esmagadoramente masculinas. A sabedoria predominante era que as mulheres careciam da "capacidade pulmonar" ou do "temperamento" para certos instrumentos. Então as orquestras começaram a colocar os candidatos atrás de um biombo. Os jurados podiam ouvir a música — o verdadeiro fator causal do desempenho — mas não conseguiam ver o músico.

A contratação de mulheres disparou.

O biombo não mudou a qualidade da música. Mudou a qualidade da escuta. Forçou os avaliadores a responderem ao sinal (o som) em vez do ruído (a aparência).

Essa analogia se tornou fundamental para a forma como penso sobre o que estamos construindo. Na era digital, você não pode colocar cada candidato a uma vaga atrás de um biombo físico. Mas você pode construir uma IA que funciona como um biombo matemático — que avalia os fatores causais do desempenho no trabalho sendo comprovadamente cego a atributos protegidos como gênero, raça ou idade.

O problema é que a IA padrão faz o oposto. Ela age como uma janela transparente. Todo viés nos dados históricos passa direto por ela.

Por Que a IA da Amazon Penalizou a Palavra "Feminino"?

O caso de advertência mais famoso no recrutamento com IA é a ferramenta interna de contratação da Amazon, descartada em 2018. O sistema foi treinado em uma década de currículos enviados à empresa. Como o setor de tecnologia é fortemente enviesado para o masculino, os dados de treinamento refletiram esse desvio.

A IA, fazendo exatamente o que foi projetada para fazer — encontrar padrões que preveem "ser contratado" — aprendeu que sinais associados ao masculino se correlacionavam com sucesso na contratação. Ela penalizava currículos que continham a palavra "feminino", como em "capitã do clube de xadrez feminino". Rebaixava formandas de duas faculdades exclusivamente femininas. Ninguém a programou para ser sexista. Ela simplesmente descobriu que ser homem era um forte preditor de ser contratado na Amazon, e otimizou para esse padrão.

Ser fiel ao passado é ser injusto com o futuro. Se "acurácia" significa prever a decisão humana, então uma "boa" IA é necessariamente uma IA enviesada.

Esta é a falha central da aprendizagem por imitação — treinar a IA para imitar recrutadores humanos. Se os recrutadores eram enviesados (e, devido à homofilia, eles eram), a IA se torna o que passei a chamar de "cápsula de viés". Ela cristaliza uma década de preconceito e o aplica em velocidade de máquina a cada novo candidato.

A Amazon ao menos teve a integridade de encerrar o projeto. A maioria das empresas que usam ferramentas semelhantes nem sabe que tem o problema.

E Quanto ao GPT? A Armadilha do Wrapper de LLM

Depois que a história da Amazon veio à tona, presumi que o setor faria uma correção de rumo. Em vez disso, o boom da IA generativa produziu algo indiscutivelmente pior: uma enxurrada de ferramentas de recrutamento "com IA" que são interfaces superficiais — wrappers — construídas sobre grandes modelos de linguagem de uso geral como GPT-4 ou Claude.

Perdi a conta do número de investidores e potenciais parceiros que me disseram: "É só usar o GPT. Faça o fine-tuning com alguns dados de contratação. Lance." Toda vez, tenho a mesma resposta: você sabe com o que o GPT foi treinado?

A internet aberta. A soma total do texto humano — incluindo seus vieses, estereótipos e preconceitos. Pesquisadores da Universidade de Washington descobriram que, quando LLMs fazem a triagem de currículos, nomes associados a pessoas brancas são preferidos 85% das vezes, mesmo quando as qualificações são idênticas. Em algumas iterações de teste, nomes de homens negros nunca foram classificados em primeiro lugar. O modelo associa certos nomes a "competência" com base em padrões estatísticos em seus dados de treinamento. Um wrapper não consegue desligar isso facilmente porque o viés está entrelaçado na compreensão fundamental de linguagem do modelo.

E isso antes de chegarmos às alucinações. LLMs são geradores probabilísticos de texto, não motores de lógica. Eles podem inventar habilidades que um candidato não possui, ou deixar de perceber habilidades que ele possui, porque o modelo está otimizando para texto que soa plausível, não para acurácia factual. Em um contexto de conformidade — onde um candidato rejeitado pode processar — "a IA alucinou que você não tinha uma certificação exigida" não é uma defesa jurídica viável.

Depois há o problema da caixa-preta. Pergunte a um wrapper por quê ele classificou o Candidato A acima do Candidato B, e ele pode gerar uma explicação que soa confiante. Mas essa explicação é uma racionalização post-hoc, não um relato causal da decisão. Sob a Lei Local 144 de Nova York e o Regulamento de IA da UE, essa opacidade está cada vez mais fora de conformidade.

Escrevi sobre esse problema — e nossa abordagem para resolvê-lo — na versão interativa da nossa pesquisa.

A Pergunta Errada vs. a Pergunta Certa

Aqui está o cerne de tudo.

A IA de recrutamento padrão pergunta: "Com base no histórico, esta pessoa será contratada?"

Nós perguntamos: "Esta pessoa terá bom desempenho?"

Elas parecem semelhantes. São mundos à parte.

A primeira pergunta treina na decisão do recrutador — uma decisão contaminada por homofilia, viés de afinidade e correspondência de padrões com a demografia da equipe existente. A segunda pergunta treina em resultados de negócio: retenção além de 18 meses, cumprimento de KPIs, avaliações de desempenho, melhoria da produção da equipe.

Quando você treina em resultados em vez de decisões, algo notável acontece. Se candidatos diversos historicamente tiveram bom desempenho mas raramente foram contratados — que é exatamente o que os dados mostram em muitas organizações — um modelo baseado em resultados aprende a valorizá-los. Um modelo baseado em imitação aprende a ignorá-los.

Esta não é uma distinção sutil. É a diferença entre automatizar o passado e projetar o futuro.

Como Você Torna uma IA Comprovadamente Justa?

Certo. Então treinamos em resultados em vez de decisões. Isso é necessário, mas não suficiente. Porque até os dados de resultados podem carregar traços de viés estrutural — se funcionários diversos receberam menos recursos, piores atribuições ou menos mentoria, seus resultados podem ter sido artificialmente suprimidos.

É aqui que passamos da IA preditiva para a IA causal, e especificamente para um arcabouço chamado justiça contrafactual.

A ideia, enraizada na "Escada da Causação" de Judea Pearl, é enganosamente simples. O aprendizado de máquina padrão opera no Nível 1 da escada de Pearl: associação. Ele enxerga padrões. "Pessoas com a característica X tendem a obter o resultado Y." Útil, mas cego à diferença entre correlação e causação.

A IA causal opera no Nível 3: contrafactuais. Ela consegue imaginar realidades alternativas. "Se este candidato fosse homem em vez de mulher, com tudo o mais mantido constante, a previsão do modelo mudaria?"

Se a resposta for sim, o modelo é injusto. Ponto final.

Implementamos isso usando Modelos Causais Estruturais — grafos transparentes que mapeiam relações de causa e efeito entre variáveis. Diferentemente das redes neurais de caixa-preta, um MCE nos permite ver exatamente quais caminhos conectam entradas a saídas, e por quê.

Aqui está um exemplo concreto que manteve minha equipe acordada até tarde uma noite. Estávamos construindo um modelo e notamos que "CEP" era um forte preditor de retenção. Faz sentido — trajetos longos esgotam as pessoas. Mas o CEP também se correlaciona com raça na maioria das cidades americanas. Um modelo padrão usaria o CEP indiscriminadamente, discriminando efetivamente por raça enquanto aparenta usar uma variável "neutra".

Nosso MCE mapeia ambos os caminhos:

• Caminho legítimo: CEP → Tempo de Trajeto → Retenção
• Caminho espúrio: CEP → Demografia → Viés Histórico

Nós bloqueamos matematicamente o segundo caminho enquanto preservamos o primeiro. O modelo pode usar o CEP apenas na medida em que ele prevê o tempo de trajeto. Se ele começar a usar o CEP para inferir raça, a penalidade entra em ação.

A questão não é se sua IA usa atributos protegidos diretamente. É se ela usa proxies que contrabandeiam esses atributos de volta pela porta dos fundos.

Treinando o Modelo a Desaprender Seu Próprio Preconceito

Como fazemos para de fato impor isso durante o treinamento? Por meio de uma técnica chamada desenviesamento adversarial — essencialmente, uma penalidade de justiça embutida no processo de aprendizagem do modelo.

Durante o treinamento, o modelo otimiza simultaneamente em relação a dois objetivos concorrentes. Primeiro: maximizar a acurácia na previsão do desempenho no trabalho. Segundo: minimizar a capacidade de prever os atributos protegidos do candidato (raça, gênero, idade) a partir da representação interna do modelo.

Introduzimos um "adversário" — um modelo secundário cuja única função é tentar adivinhar a demografia do candidato a partir das saídas do modelo principal. Se o modelo principal começar a se apoiar em características-proxy como "lacrosse" (um proxy para status socioeconômico, que se correlaciona com raça) ou certos nomes de universidades, o adversário detecta que agora consegue adivinhar a demografia mais facilmente. Isso dispara uma penalidade, aumentando o custo do estado atual do modelo principal.

Para minimizar a perda total, o modelo é forçado a encontrar características que preveem o desempenho sem revelar a demografia. Habilidades. Experiência. Notas objetivas de testes. Os verdadeiros fatores causais.

Às vezes explico isso com uma analogia boba que minha equipe detesta: é como treinar um cachorro para buscar um jornal. Se o cachorro busca o jornal mas o rasga, não ganha petisco. Com o tempo, o cachorro aprende a buscar sem rasgar. Nosso modelo aprende a prever sem discriminar.

Antes da implantação, executamos milhares de simulações contrafactuais. Pegamos o currículo de um candidato real, geramos um "gêmeo sintético" com um nome e pronomes diferentes mas habilidades e experiência idênticas, e passamos ambos pelo modelo. Se as pontuações divergirem, o modelo falha na auditoria. Iteramos até que convirjam. Para o detalhamento técnico completo desse processo, veja nosso artigo de pesquisa.

Por Que Nada Disso Importa Juridicamente?

Porque as barreiras regulatórias estão se fechando, e a maioria das empresas não está pronta.

A Lei Local 144 de Nova York, em vigor desde 2023, proíbe o uso de ferramentas automatizadas de contratação a menos que tenham passado por uma auditoria independente de viés no último ano. A lei exige o cálculo de índices de impacto — comparando taxas de seleção entre grupos demográficos. Muitos fornecedores de caixa-preta estão falhando nessas auditorias porque não conseguem controlar como seus modelos ponderam diferentes características. Eles estão correndo para remendar o viés depois do fato, o que é como tentar desassar um bolo.

O Regulamento de IA da UE vai além, classificando a IA de recrutamento como "alto risco" — o mesmo nível regulatório de dispositivos médicos. Isso impõe requisitos rigorosos em torno de governança de dados, supervisão humana e ausência demonstrável de viés. Soluções do tipo wrapper que processam dados por meio de APIs de terceiros enfrentam aqui um problema existencial: os dados saem da sua infraestrutura, o modelo é opaco, e você não pode garantir a conformidade.

Nossos modelos são prontos para auditoria por design. Como a penalidade de justiça durante o treinamento é matematicamente mais rigorosa do que a lei exige, a conformidade é um subproduto natural, não uma reflexão tardia. E como o grafo causal é transparente, podemos mostrar a um auditor — ou a um tribunal — exatamente quais fatores impulsionaram qualquer decisão dada e provar que os atributos protegidos tiveram peso zero.

Às vezes me perguntam se toda essa engenharia de justiça vem ao custo do desempenho. É a objeção mais comum que ouço, geralmente formulada como: "Não existe um trade-off entre justiça e acurácia?"

Não existe. Ou, mais precisamente: existe um trade-off entre justiça e a ilusão de acurácia. Um modelo que é "acurado" em prever decisões humanas enviesadas não é de fato acurado em prever o desempenho no trabalho. Ele é acurado em prever preconceito. Quando você elimina o viés e treina em resultados reais, você não perde poder preditivo — você o redireciona para o que de fato importa.

O Princípio Moneyball Aplicado à Contratação

Em um estudo de caso envolvendo rotatividade de funcionários, a inferência causal revelou que "falta de oportunidades de treinamento" — e não o salário — era o verdadeiro motor da evasão. A empresa interveio com programas de treinamento em vez de aumentos generalizados, reduzindo a rotatividade em 23,9% a uma fração do custo. Esse é o poder de perguntar por quê em vez de apenas o quê.

Empresas como Unilever e Hilton que migraram para modelos de contratação orientados por dados e baseados em resultados relataram reduzir o tempo de contratação em até 90% enquanto simultaneamente aumentavam a diversidade. Justiça e eficiência não estão em tensão. São resultados correlacionados de um sistema que de fato mede as coisas certas.

Penso nisso como o princípio Moneyball aplicado ao RH. Recrutadores tradicionais supervalorizam a pedigree — diplomas da Ivy League, empregadores de marca conhecida — da mesma forma que olheiros de beisebol costumavam supervalorizar a média de rebatidas. A IA causal encontra o equivalente à porcentagem de vezes em base: os sinais subvalorizados que de fato preveem resultados vencedores. Ao remover o viés da "adequação cultural", você expande o pool de talentos para incluir profissionais de alto desempenho que todas as outras empresas estão sistematicamente ignorando.

Justiça não é um imposto sobre o desempenho. É a aparência do desempenho quando você para de confundir pedigree com potencial.

A Parte em Que Admito o Que É Difícil

Eu estaria mentindo se dissesse que isso foi fácil de construir, ou fácil de vender.

A tecnologia é difícil. Modelos causais exigem expertise de domínio para serem construídos — você precisa entender a real estrutura causal do desempenho no trabalho em um determinado cargo, não apenas jogar dados em um algoritmo. Errar essa estrutura significa bloquear caminhos legítimos ou deixar caminhos espúrios abertos. Tivemos debates internos que duraram dias sobre se uma determinada variável era um preditor legítimo ou um proxy. Não há atalho. Você tem que pensar.

O ciclo de vendas também é difícil. Gestores de contratação confiam no próprio instinto. Eles acreditam ser bons juízes de caráter. Dizer a alguém que seu "instinto" é, na verdade, correspondência de padrões com seu próprio perfil demográfico não te torna popular em jantares. Aprendemos a posicionar a tecnologia não como uma acusação, mas como uma ferramenta de apoio à decisão — uma "verificação de viés" análoga a um corretor ortográfico. Ela não escreve o livro para você. Ela garante que você não cometa erros evitáveis.

E a prontidão dos dados é um desafio real. A IA causal precisa de dados robustos, e grupos minoritários são frequentemente sub-representados em conjuntos de dados históricos. Abordamos isso com geração de dados sintéticos — usando GANs para criar pontos de dados seguros para a privacidade que imitam as propriedades estatísticas de grupos sub-representados, garantindo que o modelo tenha exemplos suficientes para aprender fronteiras de decisão justas para todos.

Nada disso é tão simples quanto envolver uma chamada de API ao GPT e lançar um produto. Mas a versão simples não funciona. Ela apenas falha silenciosamente, em escala, de maneiras que prejudicam a vida de pessoas reais.

O Biombo, Não o Espelho

A primeira geração de IA no recrutamento foi um espelho. Ela refletia nossos vieses de volta para nós, amplificados pela automação, e chamávamos isso de inteligência.

A próxima geração precisa ser um biombo — como aquele nas audições de orquestra. Não uma ferramenta que olha para os candidatos e vê demografia. Uma ferramenta que ouve a música.

Ainda não chegamos lá como setor. O mercado ainda é dominado por ferramentas que otimizam para o objetivo errado, construídas sobre modelos que não conseguem se explicar, vendidas a empresas que não sabem que perguntas fazer. Mas o ambiente regulatório está mudando. As evidências estão se acumulando. E as organizações que descobrirem isso primeiro terão acesso a um pool de talentos que seus concorrentes estão excluindo algoritmicamente.

Não fundei a Veriprajna porque achava que justiça era um diferencial desejável. Fundei porque olhei para os dados e percebi que o viés não é apenas uma falha ética — é uma falha de previsão. Toda vez que um modelo rejeita um candidato qualificado por causa de um nome, um CEP ou um hobby que se correlaciona com a demografia "errada", ele está fazendo uma previsão errada. Ele está deixando desempenho na mesa. Ele está escolhendo conforto em vez de acurácia.

A questão não é se a IA vai transformar a contratação. É se vamos usá-la para escalar nossos melhores instintos ou nossos piores.

Eu sei para qual lado estou construindo.