El algoritmo de contratación que se convirtió, sin querer, en un examen médico

Un amigo mío —un ingeniero de software brillante, uno de los mejores pensadores de patrones que he conocido— me contó que lo habían rechazado en once empresas seguidas. No después de las rondas técnicas. Antes de ellas. Nunca logró pasar de la "evaluación de personalidad" inicial.

Es autista. Y todas y cada una de esas empresas usaban alguna versión de la misma herramienta de cribado impulsada por IA.

Seguí pensando en esa conversación cuando, en mayo de 2024, la ACLU presentó una queja formal ante la Comisión Federal de Comercio contra Aon Consulting. La acusación era asombrosa por su especificidad: el conjunto de herramientas de contratación con IA de Aon —comercializadas como "libres de sesgo" y potenciadoras de la diversidad— probablemente funcionaba como un cribado encubierto de discapacidad. Las herramientas medían rasgos como la "vivacidad", la "positividad" y la "conciencia emocional". Rasgos que no son solo vagas dimensiones de la personalidad. Son reflejos casi perfectos de los criterios clínicos utilizados para diagnosticar el autismo.

Cuando leí la queja completa, sentado en mi escritorio a las once de la noche con una taza fría de chai, algo encajó en su lugar que me había estado molestando durante años. La industria de la contratación con IA no tiene un problema de sesgo. Tiene un problema de arquitectura. Y ninguna cantidad de marca "IA Responsable" va a arreglarlo.

La promesa que se rompió

Durante la mayor parte de una década, el discurso de los proveedores de contratación con IA ha sido seductor y simple: los humanos tienen sesgos, los algoritmos no. Deja que la máquina decida y obtendrás resultados más justos.

Yo me creí una versión de esto al principio. Cuando fundé Veriprajna, creía genuinamente que si podías formalizar la toma de decisiones —eliminar las corazonadas, las intuiciones sobre el "encaje cultural", la preferencia inconsciente por las personas que te recuerdan a ti mismo— obtendrías algo más cercano a la meritocracia. Las matemáticas nos liberarían.

La industria de la contratación con IA no tiene un problema de sesgo. Tiene un problema de arquitectura.

Luego empecé a mirar lo que estas herramientas miden realmente. Y me di cuenta de que las matemáticas estaban codificando exactamente los sesgos que afirmaban eliminar, solo que traduciéndolos a un lenguaje que parecía objetivo.

La herramienta de personalidad insignia de Aon, ADEPT-15, evalúa a los candidatos en quince dimensiones. Cosas como la "Vivacidad" (¿eres extrovertido o reservado?), la "Conciencia" (¿sabes leer entre líneas?), la "Compostura" (¿estás tranquilo bajo presión o eres apasionado?) y la "Flexibilidad" (¿prefieres la rutina o el cambio?). La herramienta usa un formato de elección forzada —eliges entre dos afirmaciones— y se adapta en tiempo real según tus respuestas anteriores.

Sobre el papel, suena sofisticado. En la práctica, está preguntando: ¿qué tan neurotípico eres?

¿Qué sucede cuando una herramienta de contratación refleja un diagnóstico clínico?

Esta es la parte que me mantuvo despierto esa noche. Saqué el Cociente del Espectro Autista —una herramienta clínica estándar de cribado— y lo coloqué junto a las definiciones de constructos ADEPT-15 de Aon. La superposición no era sutil. Era estructural.

El AQ mide las habilidades sociales, el cambio de atención, la atención al detalle, la comunicación y la imaginación. ADEPT-15 mide la "Vivacidad", la "Flexibilidad", la "Estructura", la "Conciencia" y la "Asertividad". No son primos lejanos. Son los mismos constructos con ropa diferente.

Cuando un algoritmo penaliza a alguien por ser "reservado" en lugar de "extrovertido", no está midiendo la aptitud para el trabajo. Está midiendo el desempeño social. Y para alguien cuyo cerebro procesa la información social de manera diferente —alguien autista, alguien con TDAH, alguien con ansiedad social— esa medición es una trampa disfrazada de prueba.

La queja de la ACLU lo expresa sin rodeos: estas evaluaciones "siguen de cerca los diagnósticos de autismo/salud mental". Bajo la Ley de Estadounidenses con Discapacidades, los empleadores no pueden administrar exámenes médicos como parte del proceso de contratación a menos que estén directamente relacionados con el trabajo. Si una prueba de personalidad es funcionalmente indistinguible de una herramienta clínica de cribado, ¿qué es exactamente?

Recuerdo haber sacado este tema con un colega que había pasado años en psicología industrial-organizacional. Su primera reacción fue defensiva: "Estos son instrumentos psicométricos validados". Mi respuesta: ¿validados contra qué? ¿Contra una muestra normativa que era abrumadoramente neurotípica? Eso no es validación. Es un razonamiento circular con una bata de laboratorio puesta.

El problema de la entrevista en video es peor de lo que crees

La segunda herramienta de Aon, vidAssess-AI, superpone el modelo de personalidad sobre las entrevistas en video asincrónicas. Los candidatos se graban a sí mismos respondiendo preguntas. Un motor de PLN transcribe su discurso, analiza el contenido y lo puntúa contra el marco de personalidad ADEPT-15.

Aquí es donde se vuelve genuinamente alarmante. Los modelos de procesamiento de lenguaje natural se entrenan con enormes conjuntos de datos de texto que reflejan de manera abrumadora los patrones de comunicación neurotípicos. El ritmo del habla típica. Las cadencias esperadas de la confianza. La forma "normal" de estructurar una narrativa.

Mi equipo pasó semanas probando cómo interactúan los distintos patrones del habla con los sistemas comerciales de PLN. La entonación plana —común en los hablantes autistas— se marca como "falta de entusiasmo". Las pausas atípicas se interpretan como "incertidumbre". La narración no lineal —la forma en que muchas personas con TDAH organizan naturalmente sus pensamientos, saltando entre ideas conectadas antes de volver al punto de partida— se registra como "pensamiento desorganizado".

Cuando un algoritmo penaliza a alguien por ser "reservado" en lugar de "extrovertido", no está midiendo la aptitud para el trabajo. Está midiendo el desempeño social.

Nada de esto tiene que ver con si alguien puede hacer el trabajo. Todo esto tiene que ver por completo con si alguien representa la neurotipicidad de forma convincente ante la cámara.

Una investigación de la Universidad de Duke descubrió que los grandes modelos de lenguaje asocian sistemáticamente los términos neurodivergentes con connotaciones negativas. En algunos modelos, "tengo autismo" puntúa como más negativo que "soy un ladrón de bancos". Cuando estos mismos modelos impulsan herramientas de contratación mediante integraciones de API, llevan esas asociaciones directamente al proceso de cribado. Ningún desarrollador lo pretendió. La arquitectura lo garantizó.

Escribí sobre los mecanismos técnicos de esto con más profundidad en la versión interactiva de nuestra investigación, pero la versión corta es esta: no se puede corregir el capacitismo emergente con un envoltorio alrededor de un modelo sesgado. El sesgo no es un error. Es una característica de cómo se construyó el sistema.

Por qué dejé de creer en lo "libre de sesgo"

Hubo un momento —y puedo ubicarlo con precisión— en que mi forma de pensar sobre esto cambió de "necesitamos mejores pruebas de sesgo" a "todo el paradigma está equivocado".

Estábamos realizando una auditoría interna sobre el proceso de contratación de un cliente. Lo habitual: verificaciones de paridad demográfica, ratios de impacto adverso, las métricas que todo el mundo usa. Los números se veían limpios. Las tasas de contratación entre los grupos demográficos estaban dentro de rangos aceptables. El cliente estaba contento. Su equipo legal estaba contento.

Entonces una de mis ingenieras, Priya, hizo una pregunta que paralizó la sala: "¿Y si las personas que habrían sido descartadas nunca llegaron a postularse en primer lugar?"

Tenía razón. Estábamos midiendo la equidad entre las personas que superaron el cribado de personalidad. Pero el cribado en sí ya había filtrado el grupo de candidatos. Estábamos auditando a los sobrevivientes y llamándolo equidad.

Fue entonces cuando comprendí el defecto fundamental del enfoque de "envoltorio" para la equidad en la IA. Un envoltorio toma un modelo fundacional existente —GPT-4, el que sea—, pasa los datos a través de él y presenta el resultado. Puedes añadir verificaciones de sesgo por encima. Puedes posprocesar los resultados. Pero las representaciones internas del modelo ya han codificado los sesgos de sus datos de entrenamiento. Estás poniendo una pegatina de equidad en una máquina fundamentalmente injusta.

Los datos de contratación con los que se entrenan estos modelos reflejan décadas de preferencia neurotípica. Cuando el modelo se despliega, sus decisiones se retroalimentan en los futuros conjuntos de entrenamiento. Los candidatos reservados son rechazados, así que el modelo aprende que "reservado" predice el rechazo, así que rechaza a más candidatos reservados. El bucle se estrecha. El sesgo se agrava. Y el panel de control dice que todo está bien.

¿Cómo se construye realmente una IA de contratación que no discrimine?

Esta es la pregunta que he pasado los últimos años tratando de responder. No "cómo haces que la IA sea menos sesgada" —ese planteamiento acepta la arquitectura actual e intenta parchearla—. La verdadera pregunta es: ¿cómo construyes sistemas donde el sesgo no pueda esconderse?

El enfoque que hemos desarrollado en Veriprajna se basa en una idea central: la correlación es donde se esconde la discriminación. El aprendizaje automático tradicional encuentra patrones en los datos. Si el estilo de comunicación neurotípico se correlaciona con ser contratado, el modelo usará el estilo de comunicación como un indicador indirecto de la aptitud para la contratación. No sabe que está discriminando. Simplemente está optimizando.

Para romper esto, se necesita un razonamiento causal, no solo una correspondencia estadística de patrones.

Usamos algo llamado Aprendizaje de Representación Causal. En lugar de preguntar "¿qué características predicen el éxito en la contratación?", preguntamos "¿qué características predicen el éxito en la contratación que no sean causalmente derivadas de una característica protegida?" Es una pregunta fundamentalmente diferente, y requiere una arquitectura fundamentalmente diferente.

Piénsalo de esta manera. Imagina el perfil de un candidato como una red de atributos conectados. Algunas conexiones son legítimas: los años de experiencia se conectan con el nivel de habilidad. Pero algunas conexiones atraviesan territorio protegido: el estilo de comunicación se conecta con el neurotipo, que se conecta con la puntuación que te da una prueba de personalidad, que se conecta con si consigues una entrevista. El Aprendizaje de Representación Causal mapea estas vías y corta matemáticamente las ilegítimas.

Emparejamos esto con el entrenamiento adversario, una técnica en la que enfrentamos dos modelos entre sí. Un modelo intenta predecir el desempeño laboral. El otro intenta adivinar el estado de discapacidad del candidato a partir de las representaciones internas del primer modelo. Si el adversario tiene éxito, significa que el predictor está filtrando información protegida, y el sistema lo penaliza. A lo largo de los ciclos de entrenamiento, el predictor aprende a tomar decisiones que genuinamente no pueden aplicarse mediante ingeniería inversa para revelar el neurotipo de alguien.

No se puede corregir el capacitismo emergente con un envoltorio alrededor de un modelo sesgado. El sesgo no es un error. Es una característica de cómo se construyó el sistema.

Y luego están las pruebas contrafácticas, la parte que me parece más intelectualmente honesta. Tomamos los datos de un candidato real, generamos un gemelo sintético en el que solo cambia la característica protegida y comprobamos si la recomendación del modelo permanece igual. No "¿están equilibradas las estadísticas a nivel de grupo?", sino "¿esta persona específica obtendría un resultado diferente si no fuera autista?". Esa es la pregunta que realmente formula la ADA. Esa es la pregunta que la mayoría de las IA de contratación no pueden responder.

Para el desglose técnico completo de estos métodos —las matemáticas detrás de la invarianza intervencional, las funciones de pérdida adversarias, los modelos causales estructurales— consulta nuestro artículo de investigación técnica.

Los reguladores ya no están esperando

Una cosa que la queja contra Aon dejó inequívocamente clara: la era de "muévete rápido y audita después" ha terminado.

La iniciativa "Operation AI Comply" de la FTC ya ha dado lugar a acciones de cumplimiento contra empresas que hacen afirmaciones no fundamentadas sobre la IA. DoNotPay recibió una multa de $193,000 por prometer de más lo que su herramienta legal de IA podía hacer. Rytr fue el objetivo por generar reseñas falsas. La FTC ha sido explícita: si afirmas que tu herramienta es "libre de sesgo", más te vale tener la evidencia empírica para demostrarlo. "La entrenamos con big data" no es evidencia. Es una confesión.

La EEOC, por su parte, ha convertido la discriminación algorítmica en una prioridad máxima de cumplimiento. Su posición es directa: los empleadores son legalmente responsables de la discriminación causada por las herramientas de IA que compran, incluso si el proveedor les vendió una promesa falsa sobre la equidad. No puedes subcontratar tus obligaciones en materia de derechos civiles a un contrato de software.

A veces me preguntan si esta presión regulatoria frenará la adopción de la IA en la contratación. Creo que es la pregunta equivocada. La presión frenará la adopción de la mala IA. Acelerará el mercado de herramientas que realmente puedan demostrar equidad, no con textos de marketing, sino con evidencia auditable. Las empresas que invirtieron en una arquitectura rigurosa tendrán una ventaja enorme. Las empresas que compraron envoltorios tendrán una factura legal enorme.

Diseñar para cerebros que funcionan de manera diferente

Hay una cuestión más profunda debajo de los argumentos técnicos y legales, y es la que más me importa.

La mayoría de las IA de contratación se construyen sobre lo que los estudiosos de la discapacidad llaman el modelo del "déficit médico": la suposición de que los rasgos neurodivergentes son desviaciones de una norma que deben detectarse y descartarse. Toda la arquitectura presupone que existe una forma "correcta" en que un cerebro debe funcionar, y el trabajo del algoritmo es encontrar candidatos cuyos cerebros funcionen de esa manera.

Esto no solo es éticamente indefendible. Es estratégicamente idiota.

Las personas neurodivergentes con frecuencia sobresalen precisamente en las capacidades que las empresas dicen necesitar con desesperación: reconocimiento profundo de patrones, atención sostenida al detalle, resolución creativa de problemas que rompe con los marcos convencionales. Un sistema de contratación que criba en busca de "vivacidad" y "audacia social" está filtrando sistemáticamente a las personas con más probabilidades de ver lo que todos los demás pasan por alto.

En Veriprajna, hemos empezado a construir lo que considero sistemas de evaluación temporalmente elásticos. En lugar de comparar a cada candidato con una línea base neurotípica —tiempo de respuesta promedio, cadencia típica del habla, expresión emocional esperada—, el sistema establece una línea base individual durante las primeras etapas de la interacción. Aprende cómo es lo "normal" para esta persona, no para algún promedio abstracto.

También abogamos con fuerza por lo que debería ser obvio: toda evaluación automatizada debe incluir una opción clara y sin penalizaciones para solicitar una alternativa humana. La ADA exige ajustes razonables. Pero más allá del cumplimiento legal, es simplemente buena ingeniería. Cualquier sistema que se rompe cuando un usuario pide una interfaz diferente es un sistema frágil.

La pregunta que nadie quiere responder

Cuando presento este trabajo, siempre hay un momento de silencio incómodo. Por lo general llega después de que señalo que las mismas herramientas de IA que las empresas de la lista Fortune 500 usan para "mejorar la diversidad" pueden estar excluyendo sistemáticamente a candidatos con discapacidad. Alguien en la sala —normalmente alguien que firmó el contrato con el proveedor— se remueve en su asiento.

La verdad incómoda es que la mayoría de las empresas nunca han auditado su IA de contratación en busca de sesgos por discapacidad. Han verificado las disparidades raciales y de género porque esas son las métricas en las que los reguladores se han centrado históricamente. ¿Pero la neurodivergencia? Ni siquiera está en el panel de control.

La queja contra Aon cambia esto. No porque Aon sea excepcionalmente mala —son representativos de un enfoque generalizado en toda la industria—. Cambia las cosas porque nombra el mecanismo. Muestra exactamente cómo una "evaluación de personalidad" se convierte en un cribado de discapacidad. Y una vez que lo has visto, no puedes dejar de verlo.

Cualquier empresa que use algoritmos indirectos de personalidad para cribar candidatos está filtrando sistemáticamente el mismísimo talento que impulsa la innovación.

Pienso en mi amigo, el brillante ingeniero que no pudo pasar del cribado de personalidad. Finalmente lo contrató una empresa que hizo una evaluación técnica en vivo en su lugar. En menos de seis meses, había rediseñado todo su canal de datos. Las once empresas que lo rechazaron no solo se perdieron una buena contratación. Un algoritmo les dijo que no valía la pena hablar con él.

Eso no es un problema de sesgo. Es un sistema roto diciéndose a sí mismo que funciona.

Hacia dónde va esto

La queja de Aon-ACLU no es el final de algo. Es el comienzo de un ajuste de cuentas que reconfigurará cómo cada empresa piensa sobre la IA en las decisiones de capital humano.

Para cuando esta ola de cumplimiento y litigios alcance su punto máximo, las empresas que sigan en pie serán las que trataron la gobernanza de la IA como una disciplina de ingeniería, no como un ejercicio de relaciones públicas. Las que exigieron lógica causal en lugar de correlación. Las que auditaron en busca de equidad individual, no solo paridad demográfica. Las que diseñaron para todo el espectro de la cognición humana, no solo para la porción que casualmente coincide con los datos de entrenamiento.

No fundé Veriprajna para construir herramientas de cumplimiento. La fundé porque creo que la IA puede ser el ecualizador más poderoso de la historia de la contratación, pero solo si la construimos bien. No envoltorios sobre modelos sesgados. No indicadores indirectos de personalidad disfrazados de psicometría. Sistemas profundos que entiendan la diferencia entre lo que una persona puede hacer y cómo está cableado su cerebro.

El algoritmo que rechazó a mi amigo once veces no era malvado. Solo era superficial. Y en la contratación, superficial es lo mismo que discriminatorio.

Podemos construir de forma más profunda. Tenemos que hacerlo.