Um Tribunal Acaba de Dizer a Milhões de Candidatos que Eles Podem Ter Sido Discriminados por um Software
Eu estava sentado no saguão de um hotel em Bangalore no ano passado, esperando por uma reunião que estava atrasada, rolando processos judiciais no meu celular — do jeito que as pessoas normais rolam o Instagram — quando cheguei a um parágrafo que me fez largar o café.
Um juiz federal na Califórnia havia acabado de decidir que a Workday, a gigante de software de RH avaliada em US$ 70 bilhões, poderia ser responsabilizada como agente sob a lei federal antidiscriminação. Não uma ferramenta. Não uma plataforma neutra. Um agente — a mesma categoria jurídica de um recrutador humano que descarta currículos com base na idade ou raça de alguém.
O autor da ação, Derek Mobley, um homem afro-americano com mais de 40 anos e com deficiências, havia sido rejeitado em mais de 100 vagas. Muitas dessas rejeições vieram poucos minutos após a candidatura, muitas vezes fora do horário comercial. Nenhum humano havia olhado seu currículo. O software decidiu que ele não valia a pena ser considerado, e fez isso repetidamente com consistência algorítmica.
Eu construo sistemas de IA. Minha empresa, a Veriprajna, projeta arquiteturas cognitivas para empresas — o tipo de IA profunda e determinística que deveria substituir os atalhos desleixados e probabilísticos que a maior parte do setor está vendendo. E quando li aquela decisão, meu primeiro pensamento não foi "isso é ruim para a Workday." Foi: a maior parte do setor de recrutamento por IA está construída sobre a mesma fundação podre, e quase ninguém está falando sobre isso.
1,1 Bilhão de Rejeições e um Juiz que Percebeu
Deixe-me dar o número que silenciou a sala quando o compartilhei com minha equipe de engenharia.
Durante o período relevante do caso Workday, aproximadamente 1,1 bilhão de candidaturas a empregos foram rejeitadas por meio do software da Workday. Isso não é um erro de digitação. Bilhão, com B.
Em maio de 2025, um tribunal federal concedeu a certificação preliminar de uma ação coletiva de âmbito nacional por discriminação etária sob a ADEA — a Lei de Discriminação por Idade no Emprego (Age Discrimination in Employment Act). Isso significa que toda pessoa com mais de 40 anos a quem foi negada uma recomendação de emprego por meio da plataforma da Workday desde setembro de 2020 poderia ser notificada e poderia se juntar ao caso. Até julho de 2025, o tribunal ampliou o escopo para incluir candidatos processados por meio do HiredScore, uma ferramenta de contratação por IA que a Workday havia adquirido.
Quando um software rejeita um bilhão de candidaturas e um tribunal diz "esse software é legalmente seu agente," todo o setor de tecnologia de RH tem um problema estrutural, não um problema de relações públicas.
Lembro-me da discussão que tivemos internamente sobre isso. Um dos meus engenheiros — um cara perspicaz, com sólida experiência em ML — disse: "Mas a Workday está apenas rodando um motor de recomendação. É como culpar o Google por mostrar resultados de busca ruins." E eu disse: "Não. É como culpar uma agência de recrutamento que você contratou para triar candidatos e que essa agência descartou todo currículo de qualquer pessoa que se formou antes de 1995."
O tribunal fez exatamente essa distinção. A juíza Rita Lin separou "ferramentas simples" — planilhas, e-mail — de sistemas que ativamente pontuam, classificam e recomendam candidatos. A IA da Workday não estava organizando dados para um humano revisar. Ela estava desempenhando a função tradicional do empregador de decidir quem avança e quem não avança. Isso é agência. Isso é responsabilidade.
Como um Algoritmo Aprende a Ser Idadista?
Esta é a parte que me tira o sono, porque o mecanismo é tão banal.
Ninguém na Workday — genuinamente acredito nisso — sentou e escreveu um código que diz if age > 40: reject(). Isso seria ilegal de forma caricata e trivialmente detectável. O verdadeiro problema é mais sutil e, honestamente, mais difícil de resolver.
Quando você treina um modelo de aprendizado de máquina com os dados históricos de contratação de uma empresa — seus "funcionários bem-sucedidos" — você o alimenta com todos os vieses que aqueles gestores de contratação do passado já tiveram. Se a empresa historicamente contratou trabalhadores mais jovens para funções de engenharia, o modelo aprende que os sinais correlacionados à juventude preveem "sucesso." Não a idade diretamente. Indicadores indiretos.
Veja o que um sistema de triagem por IA pode inferir sobre a sua idade sem nunca ver a sua data de nascimento:
O domínio do seu e-mail. Um endereço @aol.com ou @hotmail.com se correlaciona com um perfil demográfico de usuário mais velho. Suas referências tecnológicas — listar expertise em Lotus Notes ou COBOL fixa você em uma era específica. O total de anos de experiência, em que "mais de 15 anos" se torna uma âncora temporal. Até mesmo marcadores de progressão na carreira: um cargo de "Programador Júnior" do início da década de 1990 diz ao modelo exatamente quando você entrou no mercado de trabalho.
Testei isso com minha própria equipe. Construímos um conjunto de dados sintético — currículos falsos com variáveis controladas — e os passamos por um pipeline de triagem padrão baseado em transformer. O modelo nunca havia recebido nenhuma informação sobre idade. Mas quando medimos as taxas de seleção usando a Regra dos Quatro Quintos da EEOC — que sinaliza impacto adverso quando a taxa de seleção de um grupo protegido cai abaixo de 80% da taxa do grupo mais alto — os resultados para candidatos com mais de 40 anos foram devastadores. Taxas de seleção pela metade das de candidatos mais jovens. Razões de impacto em torno de 0,50, bem abaixo do limite de 0,80.
O algoritmo não precisa saber a sua idade. Ele só precisa do seu provedor de e-mail, do seu vocabulário e da sua linha do tempo de carreira. A matemática faz o resto.
Ninguém programou a discriminação. Os dados de treinamento são a discriminação, cristalizada em pesos e parâmetros e devolvida em escala.
Por que "Simplesmente Use o GPT" É a Resposta Errada
Ouço isso o tempo todo. De investidores, de potenciais clientes, de CTOs bem-intencionados que leram três posts de blog sobre transformação por IA. "Por que você não simplesmente encapsula o GPT-4? Ele é bom o suficiente."
Um investidor me disse isso na cara durante uma apresentação. Ele se recostou, de braços cruzados, e disse: "Ashutosh, a OpenAI gastou bilhões nisso. Você está me dizendo que a sua empresa de 40 pessoas vai construir algo melhor?"
Eu lhe disse que ele estava fazendo a pergunta errada. A questão não é se o GPT-4 é "melhor" em gerar texto. Claro que é. A questão é se um motor probabilístico de geração de texto deveria estar tomando decisões que determinam se uma engenheira de software de 52 anos consegue sustentar a família.
O mercado está inundado com o que eu chamo de invólucros de LLM — camadas finas de aplicação que reempacotam as saídas de modelos de fundação como GPT-4 ou Claude e as vendem como "soluções de recrutamento por IA." Elas parecem impressionantes em demonstrações. Elas falham catastroficamente em produção, e eis o motivo.
Um LLM prevê o próximo token mais provável. É isso. É um motor de autocompletar sofisticado. Ele não raciocina sobre se um candidato atende a um requisito da vaga. Ele gera texto que se parece com raciocínio. E no recrutamento, a lacuna entre "parece raciocínio" e "raciocinar de verdade" é a lacuna entre a conformidade e uma ação coletiva judicial.
Existe um fenômeno bem documentado chamado síndrome do perdido-no-meio: arquiteturas transformer padrão apresentam alta precisão ao processar informações no início e no fim de sua janela de contexto, mas a atenção cai significativamente no meio. Em um currículo de 10 páginas, certificações críticas ou conquistas recentes enterradas nas seções do meio têm estatisticamente mais probabilidade de serem ignoradas. Não porque o modelo decidiu que elas não eram importantes — mas porque a arquitetura literalmente não consegue dar atenção igual a tudo.
Escrevi sobre essa limitação arquitetural e nossa abordagem para resolvê-la na versão interativa da nossa pesquisa.
E depois há o problema econômico. Os invólucros de LLM enfrentam o que eu chamo de absorção de fosso — à medida que os provedores de modelos de fundação lançam modelos-base mais capazes, eles inevitavelmente integram os recursos dos quais os invólucros dependem como sua proposta de valor. Análise de currículos, análise de sentimento, correspondência básica — a OpenAI e o Google acabarão oferecendo esses recursos nativamente. Uma empresa que apenas encapsula uma API está treinando para que sua própria vantagem competitiva desapareça a cada interação com o cliente.
A Noite em que Quebramos Nosso Próprio Sistema
Quero contar a vocês sobre uma noite de quinta-feira, há cerca de oito meses, porque ela mudou a forma como penso sobre tudo o que construímos.
Estávamos testando um protótipo do nosso módulo de triagem de recrutamento — nossa arquitetura neuro-simbólica, que explicarei em um instante — contra um conjunto de dados de referência. O sistema estava se saindo lindamente nas métricas de acurácia. A precisão estava alta. O recall estava sólido. Meu engenheiro de ML principal, que vinha trabalhando 14 horas por dia nisso, estava praticamente radiante.
Então nossa analista de conformidade rodou a auditoria de equidade.
O sistema estava apresentando violações de paridade demográfica em relação ao status de deficiência. Não enormes — a razão de impacto era em torno de 0,78, apenas ligeiramente abaixo do limite de 0,80. Mas estava lá. Nosso próprio sistema, aquele que eu vinha dizendo a todos ser "resiliente a vieses por design," estava produzindo resultados discriminatórios.
A sala ficou em silêncio. Senti-me mal.
Passamos os três dias seguintes desmontando o pipeline. O culpado acabou sendo uma característica em nossos dados de treinamento que havíamos presumido ser neutra: a duração dos períodos de afastamento do emprego. Candidatos com deficiências têm estatisticamente mais probabilidade de ter lacunas no emprego — por licença médica, por transições de emprego relacionadas à acessibilidade, por períodos de recuperação. Nosso modelo havia aprendido que as lacunas previam menor "sucesso," e estava penalizando a deficiência por indicador indireto.
Detectamos o viés porque estávamos procurando por ele. A maioria das empresas que usam ferramentas prontas de recrutamento por IA não está procurando. Elas nem sequer sabem que deveriam.
Nós o corrigimos usando desviesamento adversarial — treinando um modelo "adversário" secundário para prever características protegidas a partir da saída do nosso preditor, e então penalizando o preditor sempre que o adversário tiver sucesso. É uma técnica de intraprocessamento que força o sistema a desaprender padrões discriminatórios em vez de apenas mascará-los no pós-processamento.
Mas a lição não foi técnica. A lição foi: se nós, uma empresa obcecada por equidade e verificação, quase colocamos no ar um sistema enviesado, o que todos os outros estão colocando no ar?
O Que "IA Profunda" Realmente Significa para a Contratação?
Quando digo que construímos "IA Profunda" em vez de invólucros de LLM, não quero dizer que usamos redes neurais mais profundas. Quero dizer que vamos mais fundo no problema.
Nossa arquitetura é neuro-simbólica — ela combina as capacidades linguísticas das redes neurais com o rigor lógico do raciocínio simbólico. Na prática, isso significa que o LLM em nosso sistema não é quem toma a decisão. Ele é o tradutor.
Veja como funciona, sem o jargão:
Quando um currículo entra em nosso sistema, um modelo de linguagem especializado extrai fatos estruturados — "esta pessoa tem 5 anos de experiência em Python," "esta pessoa possui uma certificação PMP," "esta pessoa trabalhou na Empresa X de 2018 a 2022." Estas não são interpretações. São extrações de entidades, mapeadas para um grafo de conhecimento que define as relações entre habilidades, funções e requisitos organizacionais.
Então — e esta é a parte crítica — um motor de regras determinístico avalia esses fatos extraídos em relação aos requisitos da vaga. Não uma rede neural. Não uma distribuição de probabilidade. Lógica de verdade: IF experience >= 5 AND skill == Python THEN eligible = TRUE. O LLM não pode alucinar a política porque a política vive no código, não nos pesos.
Cada recomendação gera uma trilha lógica auditável. Você pode rastrear exatamente qual regra foi acionada, por qual ponto de dados, em qual seção do arquivo do candidato. Quando um regulador ou o advogado de um autor de ação pergunta "por que esta pessoa foi rejeitada?" — você tem uma resposta que não é "o modelo achou que sim."
Nós protegemos isso com o que chamamos de salvaguardas constitucionais — três camadas de proteção que operam antes, durante e depois de cada interação. As salvaguardas de entrada capturam prompts adversariais e vazamento de informações pessoais antes que cheguem à lógica central. As salvaguardas de diálogo impõem limites conversacionais. As salvaguardas de saída examinam cada resultado em busca de alucinações, toxicidade ou violações de política antes que qualquer coisa chegue a um recrutador humano.
Isso não é teórico. Para o detalhamento técnico completo da nossa arquitetura e do arcabouço jurídico que a impulsiona, veja nosso artigo de pesquisa.
É Realmente Possível Tornar a Contratação por IA Justa?
As pessoas me perguntam isso o tempo todo, geralmente com um tom cético que dá a entender que acham que a resposta é não.
Minha resposta honesta: você não consegue torná-la perfeitamente justa. A equidade na contratação envolve compensações inerentes — matemáticas, não apenas filosóficas. Otimizar para paridade demográfica (taxas de seleção iguais entre grupos) pode entrar em conflito com a igualdade de chances (taxas iguais de verdadeiros positivos e falsos positivos). Otimizar para paridade preditiva (garantir que uma pontuação alta signifique a mesma coisa para cada grupo) pode entrar em conflito com ambas.
Mas você pode torná-la dramaticamente mais justa do que o status quo, que é ou humanos enviesados ou algoritmos enviesados fingindo ser neutros. E você pode torná-la auditável, que é o que a lei de fato exige.
Usamos o SHAP — SHapley Additive exPlanations — para atribuir um valor de contribuição a cada característica em cada decisão. "A habilidade X contribuiu com +15 para a pontuação deste candidato. A lacuna no emprego contribuiu com -3." Usamos o LIME — Local Interpretable Model-agnostic Explanations — para testar se pequenas mudanças inverteriam uma decisão. Se mudar o CEP de um candidato muda o resultado, algo está errado.
Geramos explicações contrafactuais: "Este candidato não foi selecionado porque lhe faltava a certificação Y. Se ele tivesse a certificação Y, teria pontuado acima do limite." Isso não é uma caixa-preta. É uma caixa de vidro, e é o que a orientação da EEOC de maio de 2023 exige.
O Modelo das Três Linhas de Defesa Que a Maioria das Empresas Não Tem
Eis algo que me chocou quando comecei a conversar com equipes corporativas de RH sobre suas ferramentas de IA: a maioria delas não tem ideia de quais modelos está executando.
Digo isso literalmente. Estive em uma reunião com o CHRO de uma empresa da Fortune 500 — alguém responsável por decisões de contratação que afetam dezenas de milhares de pessoas anualmente — e perguntei: "Você pode me dizer as taxas de seleção por grupo demográfico da sua ferramenta de triagem por IA?" Olhar perdido. "Você pode me dizer qual modelo ela usa?" Olhar perdido mais longo. "Você pode me dizer quem a validou quanto a viés?" Ela disse: "Acho que o fornecedor cuida disso."
O fornecedor "cuida" disso. O mesmo fornecedor que, sob o precedente Workday, agora é potencialmente responsável como seu agente. O mesmo fornecedor que quase certamente tem uma cláusula no contrato isentando-se de responsabilidade por resultados discriminatórios.
A IA corporativa no recrutamento requer o que os profissionais de gestão de risco chamam de modelo das três linhas de defesa:
Primeira linha: as unidades de negócio que constroem e implantam a IA. Elas são responsáveis pela seleção dos dados de treinamento, por técnicas de contratação cega que anonimizam nomes e anos de formatura, e pelo monitoramento do dia a dia.
Segunda linha: a supervisão de risco e conformidade. Registros de modelos — um inventário central de cada modelo de IA, sua finalidade, suas fontes de dados, seu nível de risco. Monitoramento contínuo das taxas de seleção e das razões de impacto. Avaliação de fornecedores que exige documentação de testes de viés, não apenas apresentações de marketing.
Terceira linha: auditoria independente. A Lei Local 144 de Nova York já exige auditorias anuais de viés por terceiros independentes para ferramentas automatizadas de decisão de emprego. As penalidades começam em US$ 500 pela primeira infração e sobem para US$ 1.500 por violação por dia. Mas o verdadeiro custo não é a multa — é o que acontece quando um tribunal ordena que o nome da sua empresa seja enviado a milhões de candidatos potencialmente lesados, que é exatamente o que a certificação coletiva da Workday viabiliza.
Por que a "IA Soberana" É o Futuro da Contratação Corporativa
O caso Workday está acelerando uma mudança que venho observando há dois anos: a virada em direção ao que eu chamo de IA soberana no recrutamento corporativo.
As empresas estão despertando para o fato de que enviar seus dados proprietários de contratação para uma API de terceiros significa que esses dados poderiam ser usados para treinar a próxima geração do modelo de outra pessoa. Estão percebendo que quando uma API pública é atualizada — o que acontece sem aviso — seu pipeline de triagem cuidadosamente validado pode desviar da noite para o dia, produzindo resultados diferentes para os mesmos candidatos. Estão entendendo que os LLMs de propósito geral carecem dos grafos de conhecimento específicos do domínio necessários para uma avaliação profissional precisa.
As empresas com quem converso querem cada vez mais possuir seus modelos. Executá-los em suas próprias nuvens privadas virtuais. Controlar quando e como eles são atualizados. Manter trilhas de auditoria completas que não dependam da boa vontade de um fornecedor.
É para cá que estamos indo na Veriprajna. Não vendemos acesso a API. Construímos arquitetura cognitiva que codifica o conhecimento institucional, as regras de conformidade e a lógica determinística em sistemas que usam a IA como uma interface poderosa — não como um oráculo falível tomando decisões que alteram vidas com base em impressões estatísticas.
O Pensamento Que Não Consigo Tirar da Cabeça
Fico voltando ao Derek Mobley. Mais de 100 candidaturas. Rejeitado por software, muitas vezes em minutos, no meio da noite. Nenhum humano jamais olhou suas qualificações. Ninguém jamais lhe disse por quê.
E ele não é incomum. Ele é apenas o que processou.
Existem milhões de pessoas — pessoas qualificadas, experientes, capazes — que foram filtradas para fora de oportunidades de emprego por algoritmos treinados com preconceito histórico, implantados sem testes adequados e operados sem supervisão significativa. Elas não receberam uma carta de rejeição explicando que seu endereço de e-mail @hotmail.com se correlacionava com uma faixa etária que o modelo havia aprendido a penalizar. Elas apenas receberam silêncio, ou um e-mail padrão, e seguiram para a próxima candidatura.
A decisão da Workday não resolve esse problema. Mas faz algo quase tão importante: torna o problema caro. E em software corporativo, problemas caros são resolvidos.
A questão não é mais se a IA deve ser usada na contratação. É se a IA que você está usando consegue sobreviver a um depoimento judicial.
Eu construo IA para viver, e acredito profundamente em seu potencial de tornar a contratação mais justa, mais eficiente e mais humana. Mas somente se pararmos de tratar a IA de recrutamento como um produto de consumo e começarmos a tratá-la pelo que ela é: um sistema de decisão de alto risco que determina o sustento das pessoas, operando em um dos domínios mais fortemente regulamentados da lei americana.
A era da caixa-preta acabou. Construa de acordo com isso.
