Un tribunal acaba de decirles a millones de candidatos que un software pudo haberlos discriminado

El año pasado estaba sentado en el vestíbulo de un hotel en Bangalore, esperando una reunión que se había retrasado, deslizando el dedo por documentos judiciales en mi teléfono —como la gente normal desliza Instagram— cuando llegué a un párrafo que me hizo dejar el café.

Un juez federal de California acababa de dictaminar que Workday, el gigante del software de recursos humanos valorado en 70.000 millones de dólares, podía ser considerado responsable como un agente conforme a la ley federal antidiscriminación. No una herramienta. No una plataforma neutral. Un agente —la misma categoría legal que un reclutador humano que descarta currículums en función de la edad o la raza de alguien.

El demandante, Derek Mobley, un hombre afroamericano de más de 40 años con discapacidades, había sido rechazado en más de 100 empleos. Muchos de esos rechazos llegaron a los pocos minutos de postularse, a menudo fuera del horario laboral. Ningún humano había mirado su currículum. El software decidió que no valía la pena considerarlo, y lo hizo una y otra vez con consistencia algorítmica.

Yo construyo sistemas de IA. Mi empresa, Veriprajna, diseña arquitecturas cognitivas para empresas —el tipo de IA profunda y determinista que se supone que debe reemplazar los atajos descuidados y probabilísticos que vende la mayor parte de la industria. Y cuando leí ese fallo, mi primer pensamiento no fue «esto es malo para Workday». Fue: la mayor parte de la industria de la contratación con IA está construida sobre los mismos cimientos podridos, y casi nadie habla de ello.

1.100 millones de rechazos y un juez que se dio cuenta

Déjame darte la cifra que dejó helada a la sala cuando la compartí con mi equipo de ingeniería.

Durante el periodo relevante del caso Workday, se rechazaron aproximadamente 1.100 millones de solicitudes de empleo a través del software de Workday. No es una errata. Mil millones, con M de millones.

En mayo de 2025, un tribunal federal concedió la certificación preliminar de una acción colectiva a nivel nacional por discriminación por edad al amparo de la ADEA —la Ley de Discriminación por Edad en el Empleo. Esto significa que cualquier persona mayor de 40 años a la que se le haya negado una recomendación de empleo a través de la plataforma de Workday desde septiembre de 2020 podría ser notificada y podría sumarse al caso. Para julio de 2025, el tribunal amplió el alcance para incluir a los solicitantes procesados a través de HiredScore, una herramienta de contratación con IA que Workday había adquirido.

Cuando un software rechaza mil millones de solicitudes y un tribunal dice «ese software es legalmente tu agente», toda la industria de la tecnología de RR. HH. tiene un problema estructural, no un problema de relaciones públicas.

Recuerdo la discusión que tuvimos internamente sobre esto. Uno de mis ingenieros —un tipo brillante, con una sólida formación en aprendizaje automático— dijo: «Pero Workday solo ejecuta un motor de recomendaciones. Es como culpar a Google por mostrar malos resultados de búsqueda». Y yo respondí: «No. Es como culpar a una agencia de contratación que contrataste para filtrar candidatos y que esa agencia descartara todos los currículums de cualquiera que se hubiera graduado antes de 1995».

El tribunal trazó exactamente esa distinción. La jueza Rita Lin separó las «herramientas simples» —hojas de cálculo, correo electrónico— de los sistemas que activamente puntúan, clasifican y recomiendan candidatos. La IA de Workday no estaba organizando datos para que un humano los revisara. Estaba desempeñando la función tradicional del empleador de decidir quién avanza y quién no. Eso es agencia. Eso es responsabilidad.

¿Cómo aprende un algoritmo a ser edadista?

Esta es la parte que me quita el sueño, porque el mecanismo es muy banal.

Nadie en Workday —creo esto sinceramente— se sentó a escribir código que diga if age > 40: reject(). Eso sería caricaturescamente ilegal y trivialmente detectable. El problema real es más sutil y, honestamente, más difícil de solucionar.

Cuando entrenas un modelo de aprendizaje automático con los datos históricos de contratación de una empresa —sus «empleados exitosos»—, le estás inyectando todos los sesgos que tuvieron esos responsables de contratación del pasado. Si la empresa históricamente contrató a trabajadores más jóvenes para puestos de ingeniería, el modelo aprende que las señales correlacionadas con la juventud predicen el «éxito». No la edad directamente. Proxies.

Esto es lo que un sistema de cribado con IA puede inferir sobre tu edad sin ver nunca tu fecha de nacimiento:

Tu dominio de correo electrónico. Una dirección @aol.com o @hotmail.com se correlaciona con un perfil demográfico de usuario de mayor edad. Tus referencias tecnológicas —mencionar experiencia en Lotus Notes o COBOL te ubica en una época específica. Los años totales de experiencia, donde «más de 15 años» se convierte en un anclaje temporal. Incluso los marcadores de progresión profesional: un título de «Programador Junior» de principios de la década de 1990 le dice al modelo exactamente cuándo te incorporaste al mercado laboral.

Lo probé con mi propio equipo. Construimos un conjunto de datos sintético —currículums falsos con variables controladas— y los pasamos por una canalización de cribado estándar basada en transformadores. Al modelo nunca se le había dicho nada sobre la edad. Pero cuando medimos las tasas de selección usando la Regla de los Cuatro Quintos de la EEOC —que señala un impacto adverso cuando la tasa de selección de un grupo protegido cae por debajo del 80 % de la tasa del grupo más alto—, los resultados para los solicitantes mayores de 40 años fueron devastadores. Tasas de selección de la mitad que las de los solicitantes más jóvenes. Ratios de impacto en torno a 0,50, muy por debajo del umbral de 0,80.

El algoritmo no necesita saber tu edad. Solo necesita tu proveedor de correo electrónico, tu vocabulario y tu cronología profesional. Las matemáticas hacen el resto.

Nadie programó la discriminación. Los datos de entrenamiento son la discriminación, cristalizada en pesos y parámetros y servida de vuelta a escala.

Por qué «Simplemente usa GPT» es la respuesta equivocada

Escucho esto constantemente. De inversores, de clientes potenciales, de directores de tecnología bienintencionados que han leído tres entradas de blog sobre la transformación con IA. «¿Por qué no simplemente envuelves GPT-4? Es lo bastante bueno».

Un inversor me dijo esto a la cara durante una presentación. Se recostó, con los brazos cruzados, y dijo: «Ashutosh, OpenAI ha gastado miles de millones en esto. ¿Me estás diciendo que tu empresa de 40 personas va a construir algo mejor?».

Le dije que estaba haciendo la pregunta equivocada. La cuestión no es si GPT-4 es «mejor» generando texto. Por supuesto que lo es. La cuestión es si un motor de generación de texto probabilístico debería tomar decisiones que determinan si una ingeniera de software de 52 años puede dar de comer a su familia.

El mercado está inundado de lo que yo llamo wrappers de LLM —capas de aplicación superficiales que reempaquetan las salidas de modelos fundacionales como GPT-4 o Claude y las venden como «soluciones de contratación con IA». Impresionan en las demostraciones. Fracasan catastróficamente en producción, y he aquí por qué.

Un LLM predice el siguiente token más probable. Eso es todo. Es un sofisticado motor de autocompletado. No razona sobre si un candidato cumple un requisito del puesto. Genera texto que parece razonamiento. Y en la contratación, la brecha entre «parece razonamiento» y «razonamiento real» es la brecha entre el cumplimiento y una demanda colectiva.

Existe un fenómeno bien documentado llamado síndrome de «perdido en el medio»: las arquitecturas de transformadores estándar muestran una alta precisión al procesar información al principio y al final de su ventana de contexto, pero la atención cae significativamente en el medio. En un currículum de 10 páginas, las certificaciones críticas o los logros recientes enterrados en las secciones intermedias tienen, estadísticamente, más probabilidades de pasarse por alto. No porque el modelo decidiera que no eran importantes, sino porque la arquitectura literalmente no puede prestar la misma atención a todo.

Escribí sobre esta limitación arquitectónica y nuestro enfoque para resolverla en la versión interactiva de nuestra investigación.

Y luego está el problema económico. Los wrappers de LLM enfrentan lo que yo llamo absorción del foso competitivo —a medida que los proveedores de modelos fundacionales lanzan modelos base más capaces, inevitablemente integran las funciones de las que los wrappers dependen como su propuesta de valor. El análisis de currículums, el análisis de sentimiento, la coincidencia básica: OpenAI y Google acabarán ofreciéndolos de forma nativa. Una empresa que se limita a envolver una API está eliminando su propia ventaja competitiva con cada interacción con un cliente.

La noche en que rompimos nuestro propio sistema

Quiero hablarte de un jueves por la noche de hace unos ocho meses, porque cambió mi forma de pensar sobre todo lo que construimos.

Estábamos probando un prototipo de nuestro módulo de cribado de candidatos —nuestra arquitectura neurosimbólica, que explicaré en un momento— frente a un conjunto de datos de referencia. El sistema rendía de maravilla en las métricas de exactitud. La precisión era alta. La exhaustividad era sólida. Mi ingeniero jefe de aprendizaje automático, que llevaba jornadas de 14 horas con esto, prácticamente irradiaba orgullo.

Entonces nuestra analista de cumplimiento realizó la auditoría de equidad.

El sistema exhibía violaciones de paridad demográfica en la condición de discapacidad. No enormes —el ratio de impacto rondaba el 0,78, apenas por debajo del umbral de 0,80. Pero estaban ahí. Nuestro propio sistema, ese que yo le decía a todo el mundo que era «resistente al sesgo por diseño», estaba produciendo resultados discriminatorios.

La sala se quedó en silencio. Me sentí mal.

Pasamos los tres días siguientes destripando la canalización. El culpable resultó ser una característica de nuestros datos de entrenamiento que habíamos supuesto neutral: la duración de los periodos sin empleo. Las personas con discapacidad tienen, estadísticamente, más probabilidades de tener periodos sin empleo —por baja médica, por transiciones laborales relacionadas con la accesibilidad, por periodos de recuperación. Nuestro modelo había aprendido que los periodos sin empleo predecían un menor «éxito», y penalizaba la discapacidad mediante un proxy.

Detectamos el sesgo porque lo estábamos buscando. La mayoría de las empresas que usan herramientas de contratación con IA listas para usar no lo están buscando. Ni siquiera saben que deberían hacerlo.

Lo corregimos usando el desesgado adversarial —entrenando un modelo «adversario» secundario para predecir características protegidas a partir de la salida de nuestro predictor, y luego penalizando al predictor cada vez que el adversario tiene éxito. Es una técnica de procesamiento interno que obliga al sistema a desaprender los patrones discriminatorios en lugar de simplemente enmascararlos en el posprocesamiento.

Pero la lección no era técnica. La lección era: si nosotros, una empresa obsesionada con la equidad y la verificación, estuvimos a punto de lanzar un sistema sesgado, ¿qué está lanzando todo el mundo?

¿Qué significa realmente la «IA profunda» para la contratación?

Cuando digo que construimos «IA profunda» en lugar de wrappers de LLM, no me refiero a que usemos redes neuronales más profundas. Me refiero a que profundizamos más en el problema.

Nuestra arquitectura es neurosimbólica —combina las capacidades lingüísticas de las redes neuronales con el rigor lógico del razonamiento simbólico. En la práctica, esto significa que el LLM de nuestro sistema no es quien toma las decisiones. Es el traductor.

Así funciona, sin la jerga:

Cuando un currículum entra en nuestro sistema, un modelo de lenguaje especializado extrae hechos estructurados: «esta persona tiene 5 años de experiencia en Python», «esta persona posee una certificación PMP», «esta persona trabajó en la Empresa X de 2018 a 2022». No son interpretaciones. Son extracciones de entidades, mapeadas a un grafo de conocimiento que define las relaciones entre habilidades, roles y requisitos organizativos.

Entonces —y esta es la parte crítica— un motor de reglas determinista evalúa esos hechos extraídos frente a los requisitos del puesto. No una red neuronal. No una distribución de probabilidad. Lógica real: IF experience >= 5 AND skill == Python THEN eligible = TRUE. El LLM no puede alucinar la política porque la política vive en el código, no en los pesos.

Cada recomendación genera un rastro lógico auditable. Puedes rastrear exactamente qué regla se activó, con qué dato, en qué sección del expediente del candidato. Cuando un regulador o el abogado de un demandante pregunta «¿por qué se rechazó a esta persona?», tienes una respuesta que no es «el modelo así lo creyó».

Aseguramos esto con lo que llamamos guardrails constitucionales —tres capas de protección que se ejecutan antes, durante y después de cada interacción. Los rails de entrada capturan prompts adversariales y filtraciones de datos personales antes de que lleguen a la lógica central. Los rails de diálogo imponen los límites conversacionales. Los rails de salida escanean cada resultado en busca de alucinaciones, toxicidad o violaciones de política antes de que algo llegue a un reclutador humano.

Esto no es teórico. Para el desglose técnico completo de nuestra arquitectura y el marco legal que la impulsa, consulta nuestro documento de investigación.

¿Se puede realmente hacer justa la contratación con IA?

La gente me pregunta esto todo el tiempo, normalmente con un tono escéptico que da a entender que creen que la respuesta es no.

Mi respuesta honesta: no puedes hacerla perfectamente justa. La equidad en la contratación implica compensaciones inherentes —matemáticas, no solo filosóficas. Optimizar para la paridad demográfica (tasas de selección iguales entre grupos) puede entrar en conflicto con la igualdad de probabilidades (tasas iguales de verdaderos positivos y falsos positivos). Optimizar para la paridad predictiva (garantizar que una puntuación alta signifique lo mismo para cada grupo) puede entrar en conflicto con ambas.

Pero puedes hacerla drásticamente más justa que el statu quo, que consiste en humanos sesgados o en algoritmos sesgados que fingen ser neutrales. Y puedes hacerla auditable, que es lo que la ley realmente exige.

Usamos SHAP —SHapley Additive exPlanations— para asignar un valor de contribución a cada característica en cada decisión. «La habilidad X aportó +15 a la puntuación de este candidato. El periodo sin empleo aportó -3». Usamos LIME —Local Interpretable Model-agnostic Explanations— para comprobar si pequeños cambios invertirían una decisión. Si cambiar el código postal de un candidato cambia el resultado, algo está mal.

Generamos explicaciones contrafactuales: «Este candidato no fue seleccionado porque carecía de la certificación Y. Si tuviera la certificación Y, habría puntuado por encima del umbral». Eso no es una caja negra. Es una caja de cristal, y es lo que exige la guía de la EEOC de mayo de 2023.

El modelo de las tres líneas de defensa que la mayoría de las empresas no tiene

Aquí va algo que me impactó cuando empecé a hablar con equipos de RR. HH. empresariales sobre sus herramientas de IA: la mayoría no tiene ni idea de qué modelos están ejecutando.

Lo digo literalmente. Me senté en una reunión con la directora de recursos humanos de una empresa de la lista Fortune 500 —alguien responsable de las decisiones de contratación que afectan anualmente a decenas de miles de personas— y pregunté: «¿Puede decirme las tasas de selección por grupo demográfico de su herramienta de cribado con IA?». Mirada en blanco. «¿Puede decirme qué modelo usa?». Mirada en blanco más larga. «¿Puede decirme quién la validó para detectar sesgos?». Ella dijo: «Creo que de eso se encarga el proveedor».

El proveedor «se encarga» de ello. El mismo proveedor que, bajo el precedente de Workday, ahora es potencialmente responsable como tu agente. El mismo proveedor que casi con certeza tiene una cláusula en su contrato que declina la responsabilidad por resultados discriminatorios.

La IA empresarial en la contratación requiere lo que los profesionales de la gestión de riesgos llaman el modelo de tres líneas de defensa:

Primera línea: las unidades de negocio que construyen y despliegan la IA. Son responsables de la selección de los datos de entrenamiento, de las técnicas de contratación ciega que anonimizan nombres y años de graduación, y del seguimiento cotidiano.

Segunda línea: la supervisión de riesgos y cumplimiento. Registros de modelos —un inventario central de cada modelo de IA, su propósito, sus fuentes de datos, su nivel de riesgo. Seguimiento continuo de las tasas de selección y los ratios de impacto. Evaluación de proveedores que exige documentación de las pruebas de sesgo, no solo presentaciones de marketing.

Tercera línea: la auditoría independiente. La Ley Local 144 de la ciudad de Nueva York ya exige auditorías de sesgo anuales por parte de terceros independientes para las herramientas automatizadas de decisión de empleo. Las sanciones comienzan en 500 dólares por la primera infracción y escalan hasta 1.500 dólares por infracción y por día. Pero el coste real no es la multa: es lo que ocurre cuando un tribunal ordena que el nombre de tu empresa se envíe a millones de solicitantes potencialmente agraviados, que es exactamente lo que permite la certificación colectiva de Workday.

Por qué la «IA soberana» es el futuro de la contratación empresarial

El caso Workday está acelerando un cambio que llevo dos años observando: el giro hacia lo que yo llamo IA soberana en la contratación empresarial.

Las empresas están despertando al hecho de que enviar sus datos de contratación propios a una API de terceros significa que esos datos podrían usarse para entrenar la próxima generación del modelo de otra persona. Se están dando cuenta de que cuando una API pública se actualiza —lo que ocurre sin previo aviso—, su canalización de cribado cuidadosamente validada puede desviarse de la noche a la mañana, produciendo resultados diferentes para los mismos candidatos. Están comprendiendo que los LLM de propósito general carecen de los grafos de conocimiento específicos del dominio necesarios para una evaluación profesional precisa.

Las empresas con las que hablo cada vez más quieren poseer sus modelos. Ejecutarlos en sus propias nubes privadas virtuales. Controlar cuándo y cómo se actualizan. Mantener rastros de auditoría completos que no dependan de la buena voluntad de un proveedor.

Hacia aquí nos dirigimos en Veriprajna. No vendemos acceso a una API. Construimos arquitectura cognitiva que codifica el conocimiento institucional, las reglas de cumplimiento y la lógica determinista en sistemas que usan la IA como una interfaz potente, no como un oráculo falible que toma decisiones que cambian vidas a partir de vibraciones estadísticas.

El pensamiento que no puedo quitarme de encima

Sigo volviendo a Derek Mobley. Más de 100 solicitudes. Rechazado por software, a menudo en cuestión de minutos, en plena noche. Ningún humano miró jamás sus cualificaciones. Nadie le dijo nunca por qué.

Y no es un caso raro. Es simplemente el que demandó.

Hay millones de personas —personas cualificadas, con experiencia, capaces— que han sido filtradas y excluidas de oportunidades laborales por algoritmos entrenados sobre prejuicios históricos, desplegados sin pruebas adecuadas y operados sin una supervisión significativa. No recibieron una carta de rechazo explicando que su dirección de correo @hotmail.com se correlacionaba con un tramo de edad que el modelo había aprendido a penalizar. Solo obtuvieron silencio, o un correo estándar, y pasaron a la siguiente solicitud.

El fallo de Workday no resuelve este problema. Pero hace algo casi igual de importante: hace que el problema sea costoso. Y en el software empresarial, los problemas costosos se solucionan.

La pregunta ya no es si la IA debería usarse en la contratación. Es si la IA que estás usando puede sobrevivir a una declaración jurada.

Me dedico a construir IA, y creo profundamente en su potencial para hacer la contratación más justa, más eficiente y más humana. Pero solo si dejamos de tratar la IA de contratación como un producto de consumo y empezamos a tratarla por lo que es: un sistema de decisión de altas apuestas que determina el sustento de las personas, operando en uno de los dominios más fuertemente regulados del derecho estadounidense.

La era de la caja negra ha terminado. Construye en consecuencia.