O Algoritmo de Contratação Que Virou, Sem Querer, um Exame Médico

Um amigo meu — engenheiro de software brilhante, um dos melhores pensadores de padrões que já conheci — me contou que havia sido rejeitado por onze empresas seguidas. Não depois das etapas técnicas. Antes delas. Ele nunca passou da "avaliação de personalidade" inicial.

Ele é autista. E cada uma dessas empresas usava alguma versão da mesma ferramenta de triagem movida por IA.

Continuei pensando naquela conversa quando, em maio de 2024, a ACLU protocolou uma queixa formal na Federal Trade Commission contra a Aon Consulting. A alegação era impressionante em sua especificidade: o conjunto de ferramentas de contratação por IA da Aon — comercializado como "livre de viés" e promotor de diversidade — provavelmente funcionava como uma triagem disfarçada de deficiência. As ferramentas mediam traços como "vivacidade", "positividade" e "consciência emocional". Traços que não são apenas dimensões vagas de personalidade. São espelhos quase perfeitos dos critérios clínicos usados para diagnosticar o autismo.

Quando li a queixa completa, sentado à minha mesa às onze da noite com uma xícara de chai já fria, algo se encaixou que vinha me incomodando havia anos. A indústria de contratação por IA não tem um problema de viés. Tem um problema de arquitetura. E nenhuma quantidade de marketing de "IA Responsável" vai consertar isso.

A Promessa Que Se Rompeu

Durante boa parte de uma década, o discurso dos fornecedores de IA para contratação tem sido sedutor e simples: humanos são enviesados, algoritmos não. Deixe a máquina decidir e você terá resultados mais justos.

Eu comprei uma versão disso no começo. Quando fundei a Veriprajna, acreditava sinceramente que, se você conseguisse formalizar a tomada de decisão — eliminar as intuições, os palpites de "encaixe cultural", a preferência inconsciente por pessoas que lembram você mesmo — chegaria a algo mais próximo da meritocracia. A matemática nos libertaria.

A indústria de contratação por IA não tem um problema de viés. Tem um problema de arquitetura.

Então comecei a examinar o que essas ferramentas realmente medem. E percebi que a matemática estava codificando exatamente os vieses que alegava eliminar — apenas traduzindo-os para uma linguagem que parecia objetiva.

A principal ferramenta de personalidade da Aon, o ADEPT-15, avalia os candidatos em quinze dimensões. Coisas como "Vivacidade" (você é extrovertido ou reservado?), "Percepção" (consegue ler nas entrelinhas?), "Compostura" (você é calmo sob pressão ou passional?) e "Flexibilidade" (você prefere rotina ou mudança?). A ferramenta usa um formato de escolha forçada — você escolhe entre duas afirmações — e se adapta em tempo real com base nas suas respostas anteriores.

No papel, parece sofisticado. Na prática, está perguntando: quão neurotípico você é?

O Que Acontece Quando uma Ferramenta de Contratação Espelha um Diagnóstico Clínico?

Essa é a parte que me manteve acordado naquela noite. Abri o Quociente do Espectro Autista — uma ferramenta de triagem clínica padrão — e o coloquei ao lado das definições dos construtos do ADEPT-15 da Aon. A sobreposição não era sutil. Era estrutural.

O AQ mede habilidades sociais, alternância de atenção, atenção a detalhes, comunicação e imaginação. O ADEPT-15 mede "Vivacidade", "Flexibilidade", "Estrutura", "Percepção" e "Assertividade". Não são primos distantes. São os mesmos construtos vestindo roupas diferentes.

Quando um algoritmo penaliza alguém por ser "reservado" em vez de "extrovertido", ele não está medindo aptidão para o cargo. Está medindo desempenho social. E para alguém cujo cérebro processa informações sociais de forma diferente — alguém autista, alguém com TDAH, alguém com ansiedade social — essa medição é uma armadilha disfarçada de teste.

A queixa da ACLU coloca isso de forma direta: essas avaliações "acompanham de perto os diagnósticos de autismo/saúde mental". Sob o Americans with Disabilities Act, os empregadores não podem aplicar exames médicos como parte do processo de contratação, a menos que estejam diretamente relacionados ao cargo. Se um teste de personalidade é funcionalmente indistinguível de uma ferramenta de triagem clínica, o que ele é exatamente?

Lembro-me de levantar isso com um colega que passara anos na psicologia organizacional e do trabalho. Sua primeira reação foi defensiva — "Estes são instrumentos psicométricos validados". Minha resposta: validados em relação a quê? Em relação a uma amostra normativa esmagadoramente neurotípica? Isso não é validação. É raciocínio circular vestindo um jaleco.

O Problema da Entrevista em Vídeo É Pior do Que Você Imagina

A segunda ferramenta da Aon, o vidAssess-AI, sobrepõe o modelo de personalidade a entrevistas em vídeo assíncronas. Os candidatos se gravam respondendo perguntas. Um mecanismo de PLN transcreve sua fala, analisa o conteúdo e o pontua em relação ao framework de personalidade ADEPT-15.

É aqui que a coisa fica genuinamente alarmante. Os modelos de processamento de linguagem natural são treinados em enormes conjuntos de dados de texto que refletem, de forma esmagadora, padrões neurotípicos de comunicação. O ritmo da fala típica. As cadências esperadas de confiança. A maneira "normal" de estruturar uma narrativa.

Minha equipe passou semanas testando como diferentes padrões de fala interagem com sistemas comerciais de PLN. A entonação monótona — comum em falantes autistas — é sinalizada como "falta de entusiasmo". Pausas atípicas são interpretadas como "incerteza". A narrativa não linear — a forma como muitas pessoas com TDAH organizam naturalmente os pensamentos, saltando entre ideias conectadas antes de retornar ao ponto — é registrada como "pensamento desorganizado".

Quando um algoritmo penaliza alguém por ser "reservado" em vez de "extrovertido", ele não está medindo aptidão para o cargo. Está medindo desempenho social.

Nada disso tem a ver com a capacidade de alguém fazer o trabalho. Tudo isso tem a ver com o quão convincentemente alguém encena a neurotipicidade diante da câmera.

Uma pesquisa da Duke University descobriu que os grandes modelos de linguagem associam sistematicamente termos neurodivergentes a conotações negativas. Em alguns modelos, "eu tenho autismo" pontua como mais negativo do que "eu sou um assaltante de banco". Quando esses mesmos modelos alimentam ferramentas de contratação por meio de integrações de API, eles carregam essas associações diretamente para o processo de triagem. Nenhum desenvolvedor pretendia isso. A arquitetura garantiu isso.

Escrevi sobre a mecânica técnica disso com mais profundidade em a versão interativa da nossa pesquisa, mas a versão resumida é esta: não dá para consertar o capacitismo emergente com um wrapper em torno de um modelo enviesado. O viés não é um bug. É uma característica de como o sistema foi construído.

Por Que Deixei de Acreditar em "Livre de Viés"

Houve um momento — e consigo situá-lo com precisão — em que meu pensamento sobre isso mudou de "precisamos de testes de viés melhores" para "o paradigma inteiro está errado".

Estávamos conduzindo uma auditoria interna no pipeline de contratação de um cliente. Coisas padrão: verificações de paridade demográfica, índices de impacto adverso, as métricas que todos usam. Os números pareciam limpos. As taxas de contratação entre os grupos demográficos estavam dentro de faixas aceitáveis. O cliente estava satisfeito. A equipe jurídica dele estava satisfeita.

Então uma das minhas engenheiras, Priya, fez uma pergunta que paralisou a sala: "E se as pessoas que teriam sido eliminadas na triagem nunca chegaram a se candidatar?"

Ela tinha razão. Estávamos medindo justiça entre as pessoas que passaram pela triagem de personalidade. Mas a própria triagem já havia filtrado o conjunto de candidatos. Estávamos auditando os sobreviventes e chamando isso de equidade.

Foi então que entendi a falha fundamental da abordagem de "wrapper" para a justiça em IA. Um wrapper pega um modelo de fundação existente — GPT-4, qualquer um — passa os dados por ele e apresenta a saída. Você pode adicionar verificações de viés por cima. Você pode pós-processar os resultados. Mas as representações internas do modelo já codificaram os vieses dos seus dados de treinamento. Você está colando um adesivo de justiça em uma máquina fundamentalmente injusta.

Os dados de contratação com que esses modelos são treinados refletem décadas de preferência neurotípica. Quando o modelo entra em produção, suas decisões realimentam os conjuntos de treinamento futuros. Candidatos reservados são rejeitados, então o modelo aprende que "reservado" prevê rejeição, então ele rejeita mais candidatos reservados. O ciclo se aperta. O viés se acumula. E o painel diz que está tudo bem.

Como Construir, de Fato, uma IA de Contratação Que Não Discrimina?

Esta é a pergunta que passei os últimos anos tentando responder. Não "como tornar a IA menos enviesada" — esse enquadramento aceita a arquitetura atual e tenta remendá-la. A verdadeira pergunta é: como construir sistemas em que o viés não possa se esconder?

A abordagem que desenvolvemos na Veriprajna se apoia em uma percepção central: a correlação é onde a discriminação se esconde. O aprendizado de máquina tradicional encontra padrões nos dados. Se o estilo de comunicação neurotípico se correlaciona com ser contratado, o modelo usará o estilo de comunicação como um proxy para o mérito de contratação. Ele não sabe que está discriminando. Está apenas otimizando.

Para quebrar isso, você precisa de raciocínio causal, não apenas de correspondência estatística de padrões.

Usamos algo chamado Aprendizado de Representação Causal. Em vez de perguntar "quais características preveem o sucesso na contratação?", perguntamos "quais características preveem o sucesso na contratação que não sejam causalmente derivadas de uma característica protegida?". É uma pergunta fundamentalmente diferente, e exige uma arquitetura fundamentalmente diferente.

Pense desta forma. Imagine o perfil de um candidato como uma teia de atributos conectados. Algumas conexões são legítimas — anos de experiência se conectam ao nível de habilidade. Mas algumas conexões passam por território protegido — o estilo de comunicação se conecta ao neurótipo, que se conecta a como um teste de personalidade o pontua, que se conecta a se você consegue uma entrevista. O Aprendizado de Representação Causal mapeia esses caminhos e rompe matematicamente os ilegítimos.

Combinamos isso com o treinamento adversarial — uma técnica em que colocamos dois modelos um contra o outro. Um modelo tenta prever o desempenho no trabalho. O outro tenta adivinhar a condição de deficiência do candidato a partir das representações internas do primeiro modelo. Se o adversário tiver sucesso, significa que o preditor está vazando informações protegidas, e o sistema o penaliza. Ao longo dos ciclos de treinamento, o preditor aprende a tomar decisões que genuinamente não podem ser submetidas a engenharia reversa para revelar o neurótipo de alguém.

Não dá para consertar o capacitismo emergente com um wrapper em torno de um modelo enviesado. O viés não é um bug. É uma característica de como o sistema foi construído.

E então há o teste contrafactual — a parte que considero mais intelectualmente honesta. Pegamos os dados de um candidato real, geramos um gêmeo sintético em que apenas a característica protegida muda e verificamos se a recomendação do modelo permanece a mesma. Não "as estatísticas em nível de grupo estão equilibradas?", mas "esta pessoa específica teria um resultado diferente se não fosse autista?". Essa é a pergunta que o ADA realmente faz. Essa é a pergunta que a maioria das IAs de contratação não consegue responder.

Para o detalhamento técnico completo desses métodos — a matemática por trás da invariância intervencional, as funções de perda adversarial, os modelos causais estruturais — consulte nosso artigo técnico de pesquisa.

Os Reguladores Não Estão Mais Esperando

Uma coisa que a queixa contra a Aon deixou inequivocamente clara: a era do "mover-se rápido e auditar depois" acabou.

A iniciativa "Operation AI Comply" da FTC já resultou em ações de fiscalização contra empresas que fazem alegações infundadas sobre IA. A DoNotPay levou uma multa de US$ 193.000 por prometer demais sobre o que sua ferramenta jurídica de IA podia fazer. A Rytr foi alvo por gerar avaliações falsas. A FTC foi explícita: se você alega que sua ferramenta é "livre de viés", é melhor ter as evidências empíricas para provar. "Nós a treinamos com big data" não é evidência. É uma confissão.

A EEOC, por sua vez, transformou a discriminação algorítmica em uma prioridade máxima de fiscalização. A posição dela é direta: os empregadores são legalmente responsáveis pela discriminação causada pelas ferramentas de IA que compram, mesmo que o fornecedor lhes tenha vendido gato por lebre em relação à justiça. Você não pode terceirizar suas obrigações de direitos civis para um contrato de software.

Às vezes me perguntam se essa pressão regulatória vai desacelerar a adoção de IA na contratação. Acho que é a pergunta errada. A pressão vai desacelerar a má adoção de IA. Ela vai acelerar o mercado de ferramentas que conseguem de fato demonstrar justiça — não com material de marketing, mas com evidências auditáveis. As empresas que investiram em arquitetura rigorosa terão uma vantagem enorme. As empresas que compraram wrappers terão uma conta jurídica enorme.

Projetando para Cérebros Que Funcionam de Forma Diferente

Há uma questão mais profunda por baixo dos argumentos técnicos e jurídicos, e é aquela com que mais me importo.

A maioria das IAs de contratação é construída sobre o que os estudiosos da deficiência chamam de modelo do "déficit médico" — a suposição de que traços neurodivergentes são desvios de uma norma que precisam ser detectados e eliminados na triagem. Toda a arquitetura pressupõe que existe uma maneira "correta" de um cérebro funcionar, e o trabalho do algoritmo é encontrar candidatos cujos cérebros funcionem dessa forma.

Isso não é apenas eticamente falido. É estrategicamente idiota.

Indivíduos neurodivergentes frequentemente se destacam exatamente nas capacidades que as empresas dizem desejar desesperadamente: reconhecimento profundo de padrões, atenção sustentada a detalhes, resolução criativa de problemas que rompe com os quadros convencionais. Um sistema de contratação que faz triagem por "vivacidade" e "ousadia social" está filtrando sistematicamente as pessoas com maior probabilidade de enxergar o que todos os outros deixam passar.

Na Veriprajna, começamos a construir o que penso como sistemas de avaliação temporalmente elásticos. Em vez de comparar cada candidato a uma linha de base neurotípica — tempo médio de resposta, cadência típica de fala, expressão emocional esperada — o sistema estabelece uma linha de base individual durante os estágios iniciais da interação. Ele aprende o que é "normal" para esta pessoa, não para alguma média abstrata.

Também defendemos com firmeza o que deveria ser óbvio: toda avaliação automatizada deve incluir uma opção clara e sem penalidades para solicitar uma alternativa humana. O ADA exige acomodação razoável. Mas, além da conformidade legal, é simplesmente boa engenharia. Qualquer sistema que quebra quando um usuário pede uma interface diferente é um sistema frágil.

A Pergunta Que Ninguém Quer Responder

Quando apresento este trabalho, há sempre um momento de silêncio desconfortável. Geralmente vem depois de eu apontar que as mesmas ferramentas de IA que as empresas da Fortune 500 usam para "melhorar a diversidade" podem estar excluindo sistematicamente candidatos com deficiência. Alguém na sala — geralmente quem assinou o contrato com o fornecedor — se remexe na cadeira.

A verdade incômoda é que a maioria das empresas nunca auditou sua IA de contratação em busca de viés de deficiência. Elas verificaram disparidades raciais e de gênero porque essas são as métricas em que os reguladores historicamente se concentraram. Mas neurodivergência? Nem sequer está no painel.

A queixa contra a Aon muda isso. Não porque a Aon seja excepcionalmente ruim — ela é representativa de uma abordagem de toda a indústria. Muda as coisas porque nomeia o mecanismo. Mostra exatamente como uma "avaliação de personalidade" se torna uma triagem de deficiência. E, depois que você a vê, não consegue mais deixar de ver.

Qualquer empresa que usa algoritmos de proxy de personalidade para fazer triagem de candidatos está filtrando sistematicamente justamente o talento que impulsiona a inovação.

Penso no meu amigo — o engenheiro brilhante que não conseguiu passar da triagem de personalidade. Ele acabou sendo contratado por uma empresa que, em vez disso, fez uma avaliação técnica ao vivo. Em seis meses, ele havia reprojetado todo o pipeline de dados dela. As onze empresas que o rejeitaram não apenas perderam uma boa contratação. Um algoritmo lhes disse que ele não valia a conversa.

Isso não é um problema de viés. É um sistema quebrado dizendo a si mesmo que funciona.

Para Onde Isso Vai a Seguir

A queixa Aon-ACLU não é o fim de algo. É o começo de um acerto de contas que vai remodelar a forma como cada empresa pensa sobre a IA nas decisões de capital humano.

Quando esta onda de fiscalização e litígios atingir o auge, as empresas que continuarão de pé serão aquelas que trataram a governança de IA como uma disciplina de engenharia, não como um exercício de relações públicas. Aquelas que exigiram lógica causal em vez de correlação. Aquelas que auditaram em busca de justiça individual, não apenas de paridade demográfica. Aquelas que projetaram para todo o espectro da cognição humana, não apenas para a fatia que por acaso corresponde aos dados de treinamento.

Não fundei a Veriprajna para construir ferramentas de conformidade. Fundei-a porque acredito que a IA pode ser o equalizador mais poderoso da história da contratação — mas só se a construirmos corretamente. Não wrappers sobre modelos enviesados. Não proxies de personalidade disfarçados de psicometria. Sistemas profundos que entendem a diferença entre o que uma pessoa é capaz de fazer e como o cérebro dela por acaso está estruturado.

O algoritmo que rejeitou meu amigo onze vezes não era mau. Era apenas superficial. E na contratação, superficial é a mesma coisa que discriminatório.

Podemos construir com mais profundidade. Temos de fazer isso.