Una IA le dijo a una mujer sorda que «practicara la escucha activa». Ahí supe que esta industria estaba rota.

Estaba sentado en la oficina de mi casa, ya entrada la noche de un martes, leyendo la demanda que la ACLU presentó contra Intuit y HireVue, cuando llegué a la línea que me hizo dejar el portátil y quedarme mirando la pared.

Una mujer indígena sorda —identificada como D.K. en los documentos judiciales— había tenido que completar una entrevista en vídeo automatizada para un ascenso. Ya había obtenido evaluaciones positivas, bonos anuales, una trayectoria que debería haber hecho que el ascenso fuera sencillo. Pero el sistema de IA que procesó su entrevista generó un comentario que perseguirá a esta industria durante años: le dijo que "practicara la escucha activa."

Es sorda.

El sistema no lo sabía. Al sistema no le importaba. El sistema hizo lo que hace todo gran modelo de lenguaje: buscó patrones frente a un conjunto de entrenamiento construido de forma abrumadora a partir de personas oyentes, neurotípicas y hablantes del inglés estadounidense estándar, y decidió que cualquiera que no sonara como ese conjunto de datos era deficiente. No diferente. Deficiente.

He pasado años construyendo en Veriprajna sistemas de IA diseñados para tomar decisiones de alto riesgo sobre las personas. Y puedo decirte con absoluta certeza: esto no fue un error de software. Fue la arquitectura funcionando exactamente como se diseñó. Ese es el problema.

¿Qué le pasó realmente a D.K.?

Vale la pena detenerse en los hechos, porque revelan algo más profundo que un simple fallo de software.

D.K. había solicitado un ajuste razonable: en concreto, un subtitulador de Traducción en Tiempo Real para el Acceso a la Comunicación (CART) generado por una persona para ayudarla a seguir la entrevista en vídeo. En su lugar, le dieron subtítulos automáticos. Si alguna vez has visto cómo los subtítulos automáticos destrozan a un hablante con un leve acento regional, imagina lo que ocurre cuando el hablante tiene lo que los lingüistas llaman un "acento sordo": patrones de habla moldeados por toda una vida comunicándose sin retroalimentación auditiva.

El sistema de Reconocimiento Automático del Habla no pudo interpretar su habla. La transcripción que generó era, en la práctica, basura. Y entonces una segunda capa de IA analizó esa transcripción basura en busca de "cualidades de liderazgo" y "habilidades de comunicación" y concluyó que no estaba lista para un puesto directivo.

Esto es lo que empecé a llamar fallo en cascada en las conversaciones con mi equipo: cuando un error en una capa de IA no solo persiste, sino que se amplifica al atravesar las capas siguientes. Una transcripción mala alimenta un análisis malo que alimenta una recomendación mala. Para cuando un humano ve el resultado, parece impecable. Una puntuación. Una clasificación. Un rechazo. Nadie ve la Tasa de Error por Palabra del 78 % que hay debajo.

Cuando la transcripción base tiene una tasa de error del 78 %, cada modelo construido sobre ella no está analizando a la candidata: está analizando ruido.

Ese número no es hipotético. La investigación sobre sistemas de ASR que procesan a hablantes sordos con una inteligibilidad del habla de media a baja muestra de forma consistente Tasas de Error por Palabra de entre el 77 % y el 78 %. Para comparar, los hablantes de inglés estadounidense estándar se sitúan en el 10–18 %. El sistema nunca iba a funcionar para D.K. Estaba diseñado, desde su base, para excluirla.

¿Por qué toda herramienta de contratación con IA tiene este problema?

Aquí es donde tengo que ser honesto sobre la industria en la que trabajo.

La inmensa mayoría de las "soluciones de contratación con IA" que hay ahora mismo en el mercado son lo que llamamos productos wrapper. Son interfaces delgadas construidas sobre grandes modelos de lenguaje de propósito general: GPT-4, Claude, Gemini. La empresa añade una interfaz bonita, algunos prompts específicos de RR. HH., quizá un panel con gráficos, y lo vende como "inteligencia de talento impulsada por IA".

Me he sentado frente a compradores empresariales que sinceramente no sabían distinguir entre un wrapper y un sistema construido con un propósito específico. ¿Y por qué habrían de saberlo? El marketing parece idéntico. Las demos están pulidas. La empresa de wrappers dice "usamos IA avanzada" y la empresa de IA profunda dice "usamos IA avanzada", y el equipo de compras elige la de menor precio.

La diferencia solo se manifiesta cuando alguien como D.K. entra por la puerta.

Los LLM de propósito general heredan todos los sesgos incrustados en los conjuntos de datos a escala de internet con los que fueron entrenados. Si décadas de datos de contratación reflejan una preferencia por candidatos que hablan de cierta manera, tienen cierto aspecto, se presentan de cierta forma, el modelo no cuestiona ese patrón: lo optimiza. Eso no es un defecto en el razonamiento del modelo. Es literalmente para lo que se construyó el modelo: encontrar patrones y replicarlos.

Recuerdo una discusión acalorada con uno de mis ingenieros —lo llamaré Ravi— sobre si la eliminación adversaria de sesgos merecía la sobrecarga computacional. Su postura era pragmática: "La mayoría de los candidatos no activarán los casos límite. Estamos añadiendo latencia por un escenario que afecta quizá al 2 % de las entrevistas". Mi respuesta fue tajante: "Si tu sistema funciona a la perfección para el 98 % de las personas y discrimina sistemáticamente al otro 2 %, no has construido un buen producto con casos límite. Has construido una violación de derechos civiles con una alta tasa de precisión".

Ravi cambió de opinión. Pero pienso mucho en esa conversación, porque sé que está ocurriendo en todas las empresas de IA ahora mismo y, en la mayoría de ellas, los Ravis están ganando.

¿Cómo se construye de verdad una IA que no discrimine?

La respuesta técnica importa, pero quiero explicarla como se la explicaría a un amigo, no como la escribiría en un documento de especificaciones.

La idea central de lo que construimos en Veriprajna es algo llamado eliminación adversaria de sesgos. Imagina que entrenas dos modelos de IA simultáneamente. El primer modelo —el que de verdad te importa— intenta predecir si un candidato tendrá éxito en un puesto. El segundo modelo es un adversario. Su única tarea es observar las representaciones internas del primer modelo e intentar adivinar la raza, el género, la condición de discapacidad o cualquier otro atributo protegido del candidato.

Luego castigas al primer modelo cada vez que el adversario acierta.

A lo largo de miles de ciclos de entrenamiento, el modelo principal aprende a hacer predicciones que son genuinamente ciegas a las características protegidas, no porque hayas eliminado esos datos de la entrada (ese es el enfoque ingenuo, y no funciona porque los proxies permanecen), sino porque el razonamiento interno del modelo se ha visto obligado a encontrar caminos hacia sus conclusiones que no pasan por la información demográfica.

La equidad contrafactual significa demostrar que la puntuación de un candidato seguiría siendo idéntica si sus atributos protegidos —raza, género, discapacidad— fueran diferentes. Eso no es una aspiración. Es una prueba matemática.

Esto es fundamentalmente distinto de lo que puede hacer un wrapper. No puedes acoplar la eliminación adversaria de sesgos a una llamada a la API de GPT. No puedes auditar retroactivamente las representaciones internas de un modelo que no controlas. Simplemente estás enviando texto a una caja negra y esperando que el resultado no sea discriminatorio. La esperanza no es una estrategia de cumplimiento.

Escribí sobre la arquitectura técnica completa —incluido el enfoque de fusión multimodal y las métricas formales de equidad— en nuestro whitepaper interactivo si quieres profundizar.

El colapso de modalidad que hundió a D.K.

Hay un fallo técnico concreto en el caso de HireVue que creo que la mayoría de la cobertura ha pasado por alto, y es uno que me quita el sueño.

El sistema sufrió lo que los investigadores llaman colapso de modalidad. En un sistema de IA multimodal —uno que procesa vídeo, audio y texto de forma simultánea— cada canal (o "modalidad") contribuye a la evaluación final. En teoría, esto es más robusto que un sistema de un solo canal. Si el audio tiene ruido, el vídeo puede compensar. Si la transcripción está distorsionada, las señales visuales pueden suplirla.

En la práctica, el sistema de HireVue parece haber dado un peso excesivo al canal de audio. Cuando el habla de D.K. no coincidió con los patrones que el modelo esperaba, la señal de audio no solo aportó una puntuación baja: dominó toda la evaluación. El canal visual, que podría haber captado su implicación, su confianza, su expresividad, quedó ahogado.

Resolvemos esto con algo que llamamos Eliminación Colaborativa de Sesgos por Fusión de Modalidades. Cuando nuestro sistema detecta que una modalidad está produciendo resultados de baja confianza —por ejemplo, el ASR tiene dificultades con un acento no estándar— no se limita a señalar el problema. Aumenta automáticamente el peso de las demás modalidades. Las respuestas escritas ganan más influencia. Las señales visuales de comportamiento ganan más influencia. El canal de audio degradado gana menos.

Pero aquí está la parte que creo que más importa, y no es nada técnica: cuando la confianza de nuestro sistema cae por debajo de un umbral, deriva a un humano. No como una ocurrencia tardía. No como una "vía de escalado" enterrada en un menú de ajustes. Como una decisión arquitectónica fundamental.

D.K. pidió un subtitulador humano. Se lo denegaron. En nuestro sistema, no habría necesitado pedirlo. El sistema habría reconocido su propia limitación y habría incorporado a un humano automáticamente.

La IA debería saber cuándo está fallando. El hecho de que el sistema de HireVue puntuara con total seguridad una transcripción con una tasa de error del 78 % te dice todo sobre cómo se construyen estas herramientas, y para quién se construyen.

¿Qué pasa cuando la ley se pone al día?

Durante años, la industria de la contratación con IA operó en un vacío regulatorio. Las empresas podían desplegar lo que quisieran, no auditar nada y descargar toda responsabilidad en sus términos de servicio. Esa era está terminando, y rápido.

La Ley de Inteligencia Artificial de Colorado (SB 24–205), que entra en vigor a principios de 2026, establece algo sin precedentes: un "deber de diligencia razonable" legal para cualquiera que desarrolle o despliegue sistemas de IA de alto riesgo. Las decisiones de contratación y ascenso están clasificadas explícitamente como de alto riesgo. La ley exige evaluaciones de impacto anuales que detecten la discriminación algorítmica. No voluntarias. No "buenas prácticas". Obligatorias.

La Ley Local 144 de la Ciudad de Nueva York ya exige auditorías de sesgo independientes para las herramientas automatizadas de decisión en el empleo. Legislación similar avanza en California e Illinois. La Ley de IA de la UE clasifica la IA de reclutamiento como de alto riesgo e impone requisitos de transparencia y supervisión humana respaldados por multas basadas en los ingresos.

Y luego está Mobley v. Workday, que podría ser el caso más trascendental del que la mayoría de la gente no ha oído hablar. Un tribunal federal certificó una acción colectiva y dictaminó que un proveedor de IA puede ser tratado como "agente" o "empleador indirecto" cuando su software realiza funciones que tradicionalmente asumía un responsable de contratación humano. Ese único fallo derribó el cortafuegos de responsabilidad del que depende toda empresa de wrappers: la idea de que el proveedor aporta la herramienta pero el empleador asume todo el riesgo.

Hace cosa de un año, un posible inversor me dijo que la IA que prioriza el cumplimiento era "una apuesta de nicho". Que el mercado quería velocidad y escala, no auditabilidad. Le dije que al mercado estaban a punto de demandarlo hasta que quisiera auditabilidad. Creo que la demanda de la ACLU lo demostró.

Para el análisis regulatorio detallado y el marco completo sobre cómo deberían prepararse las empresas, el análisis técnico en profundidad está aquí.

"Pero nuestro sistema pasó la auditoría de sesgo"

La gente me pregunta esto constantemente: si un sistema pasa una auditoría de sesgo anual, ¿no es suficiente?

No. Y esta es la razón.

La mayoría de las auditorías de sesgo comprueban el impacto dispar utilizando la Regla de los Cuatro Quintos: si la tasa de selección de un grupo protegido cae por debajo del 80 % de la tasa del grupo con mayor selección, hay un problema. Es un buen suelo, pero un techo terrible. Un sistema puede superar la Regla de los Cuatro Quintos en conjunto y, al mismo tiempo, fallar sistemáticamente a grupos interseccionales específicos —por ejemplo, mujeres indígenas sordas— porque los tamaños de muestra son demasiado pequeños para activar el umbral estadístico.

A D.K. no la falló un sistema ampliamente sesgado contra las mujeres o ampliamente sesgado contra los pueblos indígenas. La falló un sistema que no podía procesar su combinación específica de identidad y estilo de comunicación. Las métricas de equidad agregadas nunca lo habrían detectado.

Por eso usamos el análisis de SHAP (SHapley Additive exPlanations) como capa de monitorización continua, no como una casilla que se marca una vez al año. SHAP nos permite descomponer cada decisión individual en sus características contribuyentes. Si un candidato recibe una puntuación baja, podemos ver exactamente qué características impulsaron esa puntuación. Y si esas características se correlacionan con atributos protegidos en lugar de con competencias relevantes para el puesto —si la "prosodia" o la "cadencia del habla" están haciendo el trabajo pesado en vez de la "capacidad de resolución de problemas" o la "experiencia en el dominio"— el sistema se marca a sí mismo para su corrección en tiempo real.

La diferencia entre una auditoría de sesgo y una monitorización continua de la explicabilidad es la diferencia entre una revisión médica anual y un monitor cardíaco. Una te dice lo que ya salió mal. La otra detecta el problema cuando todavía hay tiempo de actuar.

El coste real de equivocarse en esto

Quiero terminar con algo que no tiene que ver con la tecnología ni con la regulación.

Cuando a D.K. se le denegó el ascenso, la empresa no solo violó sus derechos. Perdió a una empleada de alto rendimiento que había ganado bonos y reseñas positivas, alguien que, según cualquier medida humana, estaba lista para el puesto. La IA no protegió a la empresa de una mala contratación. Protegió a la empresa de una excelente.

Cada vez que un sistema sesgado descarta a un candidato cualificado —por un acento, una discapacidad, un nombre, un patrón de habla que no coincide con los datos de entrenamiento— la empresa no solo se enfrenta a un riesgo legal. Pierde a la persona. Pierde la perspectiva, el enfoque para resolver problemas, la experiencia vivida que ninguna optimización de "encaje cultural" puede replicar.

He construido Veriprajna sobre una convicción que sostengo con más fuerza ahora que cuando empecé: las empresas que dominarán la próxima década son las que descubran cómo usar la IA como un puente hacia el talento que de otro modo se les escaparía, no como un filtro que lo descarta. La era de los wrappers se está desmoronando bajo el peso de sus propias demandas. La era de la caja negra está siendo legislada hacia su desaparición.

Lo que la reemplace tiene que ser diferente en naturaleza, no en grado. No un wrapper mejor. No una llamada a GPT con un prompt más cuidado. Una arquitectura fundamentalmente distinta: una que sabe cuándo se equivoca, explica por qué acierta e incorpora a un humano cuando ninguna de las dos cosas es segura.

La IA debería ser un puente hacia el talento, no una barrera. Cualquier sistema que no sepa distinguir entre una discapacidad y una deficiencia no tiene por qué tomar decisiones sobre las carreras de las personas.

La era del "desplegar y desentenderse" ha terminado. Lo que viene a continuación es más difícil, más lento, más caro de construir, y lo único que de verdad funcionará.