Las herramientas de contratación con IA pueden discriminar a los candidatos con discapacidad

El problema

La herramienta de contratación con IA de Aon puntuó bajo en «vivacidad» a los candidatos autistas. En mayo de 2024, la ACLU presentó una denuncia formal ante la Comisión Federal de Comercio contra Aon Consulting. La ACLU alegó que Aon comercializaba sus evaluaciones de contratación impulsadas por IA como «libres de sesgos» y afirmaba que «mejoran la diversidad» sin «impacto adverso». En realidad, es probable que estas herramientas descarten a candidatos cualificados por motivos de raza y discapacidad.

Esto es lo que sucedió. Aon creó una prueba de personalidad llamada ADEPT-15 que mide 15 rasgos, entre ellos «positividad», «conciencia emocional» y «vivacidad». La ACLU descubrió que estos rasgos coinciden estrechamente con los criterios de diagnóstico clínico del autismo y de las afecciones de salud mental. Si obtiene una puntuación de «reservado» en lugar de «extrovertido», el algoritmo lo penaliza. No pregunta por su discapacidad. No le hace falta. Las matemáticas realizan la discriminación de forma automática.

Aon también implementó una herramienta de entrevistas en vídeo llamada vidAssess-AI. Utiliza procesamiento del lenguaje natural —software que interpreta las palabras habladas— para puntuar a los candidatos según esos mismos rasgos de personalidad. En el caso de una persona con autismo cuya habla presenta una entonación plana o pausas atípicas, la IA puede interpretar esos patrones como «falta de confianza». La herramienta creó lo que la denuncia describe como «doble penalización»: los candidatos eran juzgados por sus respuestas y por una versión de su personalidad interpretada por una máquina y filtrada a través de modelos de lenguaje sesgados.

Esta denuncia contó con el apoyo de la Autistic Self-Advocacy Network y de otros grupos de derechos civiles. No se trata de una demanda marginal. Es una señal de que la era de la contratación algorítmica sin control ha terminado. Si su empresa utiliza IA para filtrar a los solicitantes de empleo, necesita comprender qué salió mal aquí.

Por qué esto es importante para su negocio

La exposición financiera y legal derivada de las herramientas de contratación con IA sesgadas es grande y va en aumento. Considere las cifras:

• La EEOC obtuvo cientos de millones de dólares en compensación económica para las víctimas de discriminación en el año fiscal 2024. El sesgo algorítmico es ahora una prioridad máxima de aplicación de la ley.
• La FTC multó a DoNotPay con 193.000 dólares por afirmaciones infundadas sobre sus capacidades de IA. La agencia tiene la potestad de prohibir de forma permanente que las empresas vendan software de alto riesgo.
• Para 2027, la economía global del talento estará valorada en 30.000 millones de dólares. Las empresas que no puedan demostrar que sus herramientas de contratación son justas perderán el acceso a los mejores candidatos.
• La prueba ADEPT-15 de Aon se nutre de una base de datos de 350.000 elementos únicos para evaluar la personalidad. La escala del sistema hace que sea casi imposible auditarlo sin herramientas especializadas.

Su exposición legal no termina en el proveedor. La EEOC ha dejado claro que los empleadores son legalmente responsables de la discriminación causada por las herramientas de IA que adquieren a terceros. Comprar una herramienta «libre de sesgos» no transfiere su responsabilidad. La aumenta.

Esto es lo que significa para su organización:

• Riesgo de litigios: demandas colectivas y denuncias ante la EEOC dirigidas contra su proceso de contratación, no solo contra el producto de su proveedor.
• Multas regulatorias: la iniciativa «Operation AI Comply» de la FTC está aplicando activamente los requisitos de fundamentación para las afirmaciones sobre IA.
• Daño reputacional: una denuncia pública que vincule a su empresa con la discriminación por discapacidad puede erosionar su marca como empleador de la noche a la mañana.
• Pérdida de talento: las personas neurodivergentes suelen destacar en el reconocimiento de patrones, la atención al detalle y la resolución creativa de problemas. Un filtro sesgado descarta precisamente a las personas que impulsan la innovación.

Si su proveedor de IA no puede aportar pruebas empíricas de que sus herramientas no discriminan, usted está asumiendo un riesgo no cuantificado en su balance.

Qué está sucediendo realmente entre bastidores

Piense en la mayoría de las herramientas de contratación con IA como en un espejo deformante. Reflejan algo real —sus cualificaciones—, pero el reflejo está distorsionado por la forma del espejo. La «forma», en este caso, son los datos de entrenamiento, que reflejan de forma abrumadora patrones de comportamiento neurotípicos.

El fallo fundamental es algo denominado «bucle de sesgo recursivo». Los modelos de aprendizaje automático se entrenan con datos históricos de contratación. Esos datos reflejan décadas de preferencias por estilos de comunicación neurotípicos. Cuando la IA se pone en marcha, sus decisiones se retroalimentan en los futuros conjuntos de entrenamiento. Los candidatos que «se parecen» a contrataciones exitosas del pasado son promovidos por el algoritmo. Todos los demás quedan descartados. El sesgo se agrava con el tiempo.

Una investigación de la Universidad de Duke descubrió que los grandes modelos de lenguaje —los motores de IA que hay detrás de muchas herramientas de contratación— asocian sistemáticamente los términos neurodivergentes con un significado negativo. La frase «Tengo autismo» es considerada por estos modelos como más negativa que «Soy un atracador de bancos». Cuando esos mismos modelos de lenguaje alimentan las herramientas de contratación a través de una conexión API, incorporan asociaciones discriminatorias a su proceso de reclutamiento. El desarrollador nunca lo pretendió. Los datos lo hicieron automáticamente.

La ADEPT-15 de Aon ilustra esto con precisión. Mapea 15 constructos de personalidad a lo largo de polaridades como «Reservado frente a Extrovertido» y «Estoico frente a Compasivo». La ACLU comparó estos constructos con el Cociente del Espectro Autista (AQ), una herramienta clínica de cribado estándar de 50 ítems. El solapamiento es innegable. Cuando un algoritmo de contratación formula preguntas que reflejan criterios clínicos —«Me concentro intensamente en los detalles» o «Prefiero trabajar solo»—, crea una vía oculta entre la condición de discapacidad y el resultado de la contratación. El algoritmo nunca pregunta por un diagnóstico. No tiene por qué hacerlo.

Un simple «wrapper» —una herramienta que hace pasar sus datos por un modelo fundacional como GPT-4 y presenta el resultado— no puede resolver esto. Los wrappers heredan los sesgos de los modelos subyacentes. Carecen de la capacidad de distinguir entre las cualificaciones laborales genuinas y el ruido que se correlaciona con características protegidas.

Qué funciona (y qué no)

Tres enfoques habituales que fracasan:

• «Entrenamos con big data, así que es justo». Más datos no significa menos sesgo. Si sus datos de entrenamiento reflejan 30 años de preferencias de contratación neurotípicas, su modelo replicará esas preferencias a escala.
• «Nuestro proveedor nos entregó una ficha del modelo». La documentación proporcionada por el proveedor no es una auditoría independiente. El caso Aon demuestra que las afirmaciones de marketing sobre «impacto adverso nulo» pueden contradecir directamente el rendimiento real de la herramienta.
• «Eliminamos los campos protegidos de los datos de entrada». Eliminar la condición de discapacidad de los datos no sirve de nada cuando rasgos como la «vivacidad» y la «conciencia emocional» actúan como sustitutos (proxies). El algoritmo encuentra la puerta trasera.

Lo que realmente funciona es un enfoque de tres pasos que rompe el vínculo entre las características protegidas y las decisiones de contratación:

1. Mapee las vías ocultas (Entrada). Utilice el modelado causal estructural —un método que diagrama cómo se influyen mutuamente los distintos puntos de datos— para identificar cada ruta por la que la condición de discapacidad podría afectar al resultado de la contratación. Esto no es una comprobación estadística. Es un mapa causal de todo su proceso de evaluación. Su objetivo es encontrar las variables sustitutas (proxy) antes de que los reguladores las encuentren por usted.

2. Elimine la información protegida de la lógica del modelo (Procesamiento). Implemente el desesgo adversarial —una técnica en la que un segundo modelo de IA intenta adivinar la característica protegida de un candidato a partir de los datos internos del modelo principal—. Si el segundo modelo lo consigue, el modelo principal sigue filtrando información protegida. El sistema penaliza al modelo principal y lo obliga a desaprender los patrones sesgados. Esto es especialmente eficaz para las evaluaciones de vídeo y de personalidad, donde las señales conductuales actúan como sustitutos de la discapacidad.

3. Ponga a prueba cada decisión con simulación contrafactual (Salida). Genere variaciones sintéticas de los datos de un candidato real. Cambie únicamente el atributo sensible —por ejemplo, pase de patrones de habla neurotípicos a neurodivergentes— manteniendo constantes todas las demás variables. Si la recomendación de la IA cambia, tiene un fallo de equidad. Esto proporciona a su equipo de cumplimiento un rastro de auditoría concreto para cada decisión de contratación.

El rastro de auditoría es lo que más importa a sus equipos jurídico y de cumplimiento. Las estadísticas a nivel de grupo —«el 10 % de nuestras contrataciones son personas con discapacidad»— no bastan. Necesita pruebas a nivel individual de que cada candidato recibió un trato igualitario. La simulación contrafactual lo proporciona. Cuando la EEOC o la FTC pregunten por qué su sistema rechazó a un candidato concreto, usted puede mostrar los cálculos.

Según el Marco de Gestión de Riesgos de IA del NIST, las organizaciones del ámbito de los RR. HH. y la tecnología del talento deberían aspirar a una madurez «adaptativa». Esto implica un proceso documentado para hacer seguimiento de la deriva de discriminación: el fenómeno por el que los modelos de IA se vuelven más sesgados con el tiempo a medida que interactúan con datos del mundo real. Las auditorías anuales de sesgo independientes, y no los autoinformes de los proveedores, son esenciales. Toda evaluación automatizada debería incluir una opción clara para que los candidatos soliciten una alternativa humana sin penalización.

Puede leer el análisis técnico completo para profundizar en el modelado causal y los métodos de desesgo adversarial. Un recorrido interactivo también está disponible para su equipo.