A Amazon criou uma IA de recrutamento que aprendeu sozinha a odiar mulheres. Eu criei uma que não pode.

Em 2014, uma equipe de engenheiros de machine learning em Edimburgo sentou-se para resolver o recrutamento na escala da Amazon. Alimente o sistema com 100 currículos, receba de volta os cinco melhores, classificados de uma a cinco estrelas — como avaliar produtos. Elegante. Eficiente. E, em três anos, descobriram que o sistema havia ensinado a si mesmo que ser mulher era uma característica desqualificante.

A IA penalizava currículos que continham a palavra "feminino" — como em "Capitã do Clube Feminino de Xadrez". Rebaixava formadas de duas faculdades exclusivamente femininas. Não porque alguém tivesse mandado. Mas porque, quando você treina um modelo com dez anos de dados de contratação de um setor dominado por homens, "ser homem" torna-se, estatisticamente, um dos mais fortes preditores de "ser contratado".

Lembro-me de ler a reportagem investigativa da Reuters quando ela saiu. Eu já estava mergulhado na construção de sistemas de grafos de conhecimento na Veriprajna, e minha primeira reação não foi choque — foi reconhecimento. Havia meses eu argumentava que motores de correlação estatística não tinham nada que ver com decisões sobre o potencial humano. A história da Amazon não era uma anomalia. Era uma inevitabilidade matemática. E ela me radicalizou até acreditar que toda a abordagem arquitetural da IA de recrutamento estava quebrada — não nas bordas, mas na fundação.

O Problema Não É o Viés. É a Arquitetura.

Eis o que a maioria das pessoas entende errado sobre o fiasco da Amazon: elas acham que os engenheiros foram descuidados. Não foram. Eram alguns dos melhores engenheiros de ML do planeta. Quando descobriram o viés de gênero, tentaram corrigi-lo. Programaram explicitamente o modelo para ignorar termos específicos de gênero. E o modelo encontrou saídas alternativas.

Esse é o conceito de variáveis proxy, e é a coisa que me tira o sono. Modelos de deep learning são caçadores implacáveis de padrões. Remova a palavra "mulher" da entrada, e o modelo se apega à estrutura das frases. Estudos mostram que currículos masculinos tendem a usar verbos como "executei" e "conquistei", enquanto currículos femininos pendem para uma linguagem mais comunitária. O modelo vê "executei" correlacionando-se com "contratado" e silenciosamente reconstrói o viés de gênero apenas pela linguística.

Os engenheiros da Amazon não conseguiram remover cirurgicamente o viés sem destruir a capacidade preditiva do modelo. Então mataram o projeto inteiro.

Você não pode consertar um sistema que discrimina por acidente. Você tem que construir um que não possa discriminar por design.

Essa frase tem sido minha estrela-guia por três anos. E é a razão pela qual construímos o motor de recrutamento da Veriprajna sobre grafos de conhecimento em vez de redes neurais.

Por Que Todo Recrutador de IA Acaba Aprendendo a Discriminar?

Preciso que você entenda algo sobre como o deep learning funciona no recrutamento, porque o modo de falha é contraintuitivo.

Uma rede neural não entende o que "Python" significa. Ela não sabe que Python é uma linguagem de programação útil para ciência de dados. Ela só sabe que a cadeia de caracteres "Python" apareceu frequentemente nos currículos de pessoas que foram contratadas. Se "Lacrosse" também aparecesse frequentemente — talvez por correlações socioeconômicas entre certos esportes e certas escolas que alimentam certas empresas — o modelo poderia ponderar "Lacrosse" tão fortemente quanto "Python".

Isso é correlação disfarçada de inteligência. O modelo não raciocina sobre causa e efeito. Ele encontra padrões e otimiza para eles. E aqui está a parte insidiosa: amplificação de viés significa que esses modelos não apenas replicam vieses históricos — eles os exageram. Se os homens eram 60% da força de trabalho nos dados de treinamento, o modelo pode empurrar para contratar 80% ou 90% de homens para maximizar sua pontuação de acurácia.

Tive uma conversa com um potencial investidor no início que me disse: "É só usar o GPT-4 para triagem de currículos. Todo mundo está usando." Perguntei a ele: se você alimentar o mesmo currículo no GPT-4 duas vezes, obtém a mesma pontuação? Ele hesitou. A resposta é não — LLMs são estocásticos. São não determinísticos. Rode a mesma entrada duas vezes, obtenha duas saídas diferentes. Em um cenário de auditoria, isso não é uma peculiaridade. É uma falha de conformidade.

As Barreiras Regulatórias Estão se Fechando

Isso não é mais teórico. Os governos viram a história da Amazon e estão legislando.

A Lei Municipal 144 de Nova York, em vigor desde julho de 2023, exige que qualquer empregador que use uma ferramenta automatizada de decisão de emprego passe por uma auditoria de viés independente anual. Não uma auditoria vaga de "verificamos a imparcialidade" — uma específica e quantitativa. A lei determina o cálculo de taxas de seleção e razões de impacto para cada categoria de raça, etnia e sexo. Se a taxa de seleção de um grupo protegido dividida pela taxa do grupo mais selecionado cair abaixo de 0,8 — a "regra dos quatro quintos" — isso é evidência prima facie de impacto desproporcional.

A Lei de IA da UE vai além. Ela classifica os sistemas de IA usados para recrutamento como Alto Risco — a mesma categoria dos dispositivos médicos e da infraestrutura crítica. O Artigo 13 exige que esses sistemas sejam "suficientemente transparentes para permitir que os usuários interpretem a saída do sistema". O Artigo 14 requer supervisão humana — a capacidade de anular decisões da IA. Mas você não pode anular de forma significativa uma decisão que não entende.

E, sob o GDPR, o Artigo 15(1)(h) concede aos titulares dos dados o direito de acessar "informações significativas sobre a lógica envolvida" em decisões automatizadas. O Considerando 71 menciona explicitamente o direito de "obter uma explicação da decisão tomada".

Tente explicar a decisão de uma rede neural. Vá em frente. "O neurônio 4.502 disparou com intensidade 0,8" não é uma explicação significativa. Tampouco "o modelo determinou que você era 73% compatível", sem mais detalhes.

O abismo entre a complexidade técnica e a exigência legal de uma explicação simples é a crise central da moderna Tecnologia de RH.

Escrevi sobre esse panorama regulatório com mais profundidade na versão interativa do nosso whitepaper, que percorre exatamente como cada regulamentação se aplica a diferentes arquiteturas de IA.

E Se a IA Não Pudesse Ver o Gênero de Forma Alguma?

É aqui que preciso lhe contar sobre a noite em que tudo se encaixou para mim.

Vínhamos experimentando diferentes abordagens de remoção de viés — treinamento adversarial, aumento contrafactual, o conjunto de ferramentas habitual. E eu estava sentado em nosso escritório às 23h, olhando para uma visualização de grafo na minha tela, quando tive uma daquelas percepções óbvias em retrospecto: estávamos tentando ensinar o modelo a ignorar o viés. E se construíssemos uma arquitetura em que o viés literalmente não pudesse entrar no motor de raciocínio?

Em um grafo de conhecimento, os dados são armazenados como nós (entidades) e arestas (relações). Um nó Pessoa se conecta a nós Habilidade. Nós Habilidade se conectam a outros nós Habilidade por meio de relações semânticas. O grafo sabe que "PyTorch" é uma biblioteca para "Deep Learning", que é um subconjunto de "Inteligência Artificial". Então, se uma vaga exige "experiência em IA" e um candidato lista "PyTorch", o grafo traça o caminho e encontra uma correspondência — mesmo sem a palavra-chave "IA" aparecer em lugar algum do currículo.

Eis a decisão arquitetural crítica: quando nosso algoritmo de correspondência roda, ele opera sobre um subgrafo restrito. Este grafo de inferência contém Habilidades, Cargos, Níveis de Experiência e Certificações. Ele exclui explicitamente os nós de Nome, Gênero, Etnia, Endereço e datas de formatura.

O viés não é suprimido. Ele é estruturalmente cortado. Não há caminho de "Candidato" para "Gênero" para "Cargo" porque o nó Gênero não existe no grafo que o algoritmo consegue ver.

Compare isso com um modelo de deep learning, que ingere todo o texto bruto. Mesmo que você remova o campo "Gênero", o modelo lê "Clube Feminino de Xadrez" e infere o gênero. Em nosso sistema, o LLM que analisa o currículo mapeia "Clube Feminino de Xadrez" para um nó neutralizado: (:Activity {type: "Strategy Club", role: "Leadership"}). O modificador de gênero é removido antes de entrar no motor de raciocínio.

Lembro-me da discussão da equipe sobre isso. Um dos meus engenheiros discordou com firmeza — ele achava que estávamos perdendo sinal valioso ao retirar o contexto. "E se o Clube Feminino de Xadrez for na verdade mais competitivo do que o regular?" Argumento justo. Mas não estávamos otimizando para a extração máxima de informação. Estávamos otimizando para a imparcialidade sob escrutínio legal. E eu prefiro perder um sinal marginal a construir um sistema que aprende a penalizar metade da população.

Como Você Realmente Mede Talento Sem Viés?

Não prevemos quem terá sucesso. Medimos a distância de habilidade — a lacuna geométrica entre o que um candidato tem e o que uma vaga exige. Isso move o recrutamento da probabilidade subjetiva para a medição objetiva.

Os sistemas tradicionais de rastreamento de candidatos usam lógica booleana: o currículo contém a palavra-chave "Java"? Sim ou não. Isso é frágil e burro. Deixa de fora qualquer pessoa que use terminologia diferente para a mesma competência.

Nós usamos embeddings de grafo — algoritmos como o Node2Vec que aprendem uma representação vetorial para cada habilidade em nossa ontologia. Habilidades que coocorrem frequentemente no grafo (como "Python" e "Pandas") acabam próximas no espaço vetorial. Habilidades que não têm relação (como "Python" e "Flebotomia") acabam distantes.

Para pontuar um candidato, calculamos a similaridade de cosseno entre o conjunto de vetores de habilidades do candidato e o conjunto de vetores de requisitos da vaga. Isso nos dá crédito parcial. Um candidato que não tem "Tableau" mas tem "Power BI" recebe uma alta pontuação de similaridade porque esses nós são vizinhos semânticos no agrupamento de "Business Intelligence". Uma busca por palavra-chave lhe daria zero.

Sobrepomos a similaridade de Jaccard para a sobreposição bruta de habilidades e a distância geodésica — cálculos de caminho mais curto através do grafo — para a análise de lacunas. Se uma vaga exige Kubernetes e um candidato tem Docker, o grafo encontra o caminho: Docker → Contêinerização → Orquestração → Kubernetes. Distância: 3 saltos. Interpretação: treinável. Se a distância for de 6 ou mais saltos, é uma lacuna difícil.

A pontuação final de distância de habilidade é uma métrica puramente baseada em competência, completamente cega a dados demográficos. Não adivinhamos quem é bom. Medimos o quão perto eles estão.

Para o detalhamento técnico completo desses algoritmos — incluindo a matemática por trás da similaridade de cosseno e nosso modelo de pontuação composto — veja nosso artigo de pesquisa.

O Momento "SQL Faltando"

Deixe-me tornar isso concreto com algo que aconteceu durante os testes.

Rodamos um perfil de candidato tanto por um recrutador padrão de caixa-preta quanto pelo nosso sistema. A caixa-preta rejeitou o candidato. Nenhum motivo dado. (Depois determinamos que o candidato havia frequentado uma faculdade pequena e menos conhecida — uma clássica penalização por pedigree.)

Nosso sistema retornou isto: "Candidato carece de experiência explícita em SQL. No entanto, a análise de grafo mostra ampla experiência com DataFrames do Pandas e dplyr do R. A distância no grafo entre DataFrames e SQL é curta (conceito compartilhado: Manipulação de Dados). Recomendação: Entrevistar. Alta transferibilidade."

Aquele candidato — o que a caixa-preta descartou — tinha todas as habilidades de que a vaga precisava. Ele apenas usava palavras diferentes para elas. E estudou em uma escola que a caixa-preta não havia visto o suficiente em seus dados de treinamento para considerar "bem-sucedida".

É isso que quero dizer quando afirmo que grafos de conhecimento ampliam o pool de talentos. Eles encontram pessoas que têm as competências, mas não o pedigree ou o vocabulário exato. E isso naturalmente melhora a diversidade — não por meio de cotas ou ajustes, mas por meio de uma melhor medição.

O Que Acontece Quando o Sistema Sinaliza um Problema?

As pessoas me perguntam: "E se o seu sistema ainda produzir resultados enviesados?" É uma pergunta justa, e eu desconfiaria de qualquer um que afirmasse que seu sistema é perfeito.

Eis a diferença: quando uma caixa-preta produz resultados enviesados, você fica travado. Você consegue ver o impacto desproporcional nos números, mas não consegue ver o porquê. São os nomes das universidades? Os códigos postais? O estilo de escrita? Você está depurando um sistema com milhões de parâmetros e nenhuma lógica legível.

Quando nosso sistema produz uma anomalia estatística — digamos, uma razão de impacto abaixo de 0,8 para um grupo demográfico específico — conseguimos rastreá-la. Conseguimos identificar os nós específicos do grafo que causam a disparidade. Talvez uma descrição de vaga exija uma certificação cara específica que se correlaciona com o status socioeconômico. Conseguimos ver isso, sinalizar e a equipe de contratação pode decidir se aquela certificação é realmente necessária ou apenas um requisito legado que ninguém questionou.

A caixa de vidro não significa que o sistema esteja sempre certo. Significa que, quando ele está errado, você pode descobrir por quê e corrigir.

O LLM Ainda Tem uma Função — Só Que Não a Importante

Deixo claro: usamos LLMs. Não somos ludistas. Mas os usamos da forma como você usaria um tradutor — para ler e escrever, não para julgar.

Nossa arquitetura impõe uma estrita separação de responsabilidades. O LLM cuida da percepção: ele lê o texto não estruturado do currículo e extrai entidades. "Orquestrei uma equipe de 5 desenvolvedores para construir um aplicativo em React Native" torna-se dado estruturado — Habilidade: React Native, Habilidade: Liderança de Equipe, Contexto: Desenvolvimento Mobile. O LLM normaliza sinônimos: "ReactJS" e "React.js" ambos mapeiam para o mesmo nó.

Mas o LLM nunca toma uma decisão de contratação. Toda correspondência, pontuação e classificação acontecem por meio de travessia determinística do grafo. Mesmo grafo mais mesma consulta é igual a mesmo resultado, todas as vezes. Também usamos o LLM na ponta de saída — ele gera explicações legíveis por humanos, mas apenas a partir de fatos verificados pelo grafo. Ele não pode alucinar uma correspondência de habilidade que o grafo não sustenta.

Penso nisso como o LLM sendo os olhos e a boca do sistema, enquanto o grafo de conhecimento é o cérebro. Você não deixaria sua boca tomar decisões por você. (Bem, a maioria de nós não deixaria.)

Entre o Que Estamos Realmente Escolhendo?

Do jeito que eu vejo, o setor está em uma bifurcação. Um caminho leva a modelos maiores, mais parâmetros, mais opacidade — e um jogo infinito de bate-toupeira com o viés, que fica encontrando novas variáveis proxy para explorar. O outro caminho leva ao raciocínio estruturado, à medição semântica e a sistemas que conseguem explicar a si mesmos a um regulador, a um recrutador ou a um candidato rejeitado.

Conversei com líderes de RH em empresas que ainda usam ferramentas de triagem de caixa-preta. Eles conhecem o risco. Leram sobre a Amazon. Mas trocar de arquitetura parece caro e incerto, então eles continuam remendando. Adicionam "camadas de mitigação de viés" sobre sistemas fundamentalmente enviesados. Contratam consultores para realizar auditorias anuais que lhes dizem o que está quebrado sem lhes dar as ferramentas para consertar.

Os dados são um espelho. Se você treina um modelo com o passado, você replica o passado. Em um mundo que busca a equidade, replicar o passado é uma condição de fracasso.

Não vou encerrar isto com uma ressalva. Passei anos construindo isto, vi a alternativa fracassar espetacularmente e estou confiante na conclusão: o futuro da IA de recrutamento não está em prever quem terá sucesso com base em quem teve sucesso antes. Está em medir a distância real entre o que alguém pode fazer e o que uma vaga exige — e tornar essa medição transparente, determinística e estruturalmente incapaz de discriminar.

Você pode continuar prevendo o passado. Ou pode começar a medir o futuro.