Un'IA ha detto a una donna sorda di "esercitare l'ascolto attivo." È lì che ho capito che questo settore era guasto.

Ero seduto nel mio ufficio di casa, a tarda sera di un martedì, mentre scorrevo la denuncia depositata dall'ACLU contro Intuit e HireVue, quando sono arrivato alla frase che mi ha fatto posare il portatile e restare a fissare il muro.

Una donna sorda e indigena — identificata come D.K. negli atti — era stata obbligata a sostenere un colloquio video automatizzato per una promozione. Aveva già ottenuto valutazioni positive, bonus annuali, un curriculum che avrebbe dovuto rendere la promozione una formalità. Ma il sistema di IA che ha elaborato il suo colloquio ha generato un feedback che perseguiterà questo settore per anni: le ha detto di "esercitare l'ascolto attivo."

Lei è sorda.

Il sistema non lo sapeva. Al sistema non importava. Il sistema ha fatto ciò che fa ogni modello linguistico di grandi dimensioni — ha cercato corrispondenze di pattern rispetto a un set di addestramento costruito in modo schiacciante a partire da esseri umani udenti, neurotipici e di lingua inglese americana standard, e ha deciso che chiunque non suonasse come quel dataset fosse carente. Non diverso. Carente.

Ho passato anni a costruire sistemi di IA in Veriprajna progettati per prendere decisioni ad alto rischio sulle persone. E posso dirvi con assoluta certezza: questo non era un bug. Questa era l'architettura che funzionava esattamente come progettata. È proprio questo il problema.

Cosa è successo davvero a D.K.?

I fatti meritano di essere considerati con attenzione perché rivelano qualcosa di più profondo di un singolo guasto software.

D.K. aveva richiesto un accomodamento ragionevole — nello specifico, un trascrittore CART (Communication Access Realtime Translation) generato da un essere umano per aiutarla a gestire il colloquio video. Le sono stati invece forniti sottotitoli automatici. Se avete mai visto i sottotitoli automatici massacrare un oratore con un lieve accento regionale, immaginate cosa succede quando l'oratore ha quello che i linguisti chiamano un "accento sordo" — schemi di parola plasmati da una vita intera di comunicazione senza feedback uditivo.

Il sistema di Riconoscimento Automatico del Parlato non riusciva ad analizzare la sua parola. La trascrizione che ha generato era, di fatto, spazzatura. E poi un secondo livello di IA ha analizzato quella trascrizione spazzatura in cerca di "qualità di leadership" e "capacità comunicative" e ha concluso che non era pronta per un ruolo dirigenziale.

Questo è ciò che ho iniziato a chiamare guasto a cascata nelle conversazioni con il mio team — quando un errore in un livello di IA non solo persiste ma si amplifica passando attraverso i livelli successivi. Una trascrizione errata alimenta un'analisi errata che alimenta una raccomandazione errata. Quando un essere umano vede il risultato, sembra pulito. Un punteggio. Una classifica. Un rifiuto. Nessuno vede il Tasso di Errore sulle Parole del 78% che sta sotto.

Quando la trascrizione di base ha un tasso di errore del 78%, ogni modello costruito sopra di essa non sta analizzando la candidata — sta analizzando rumore.

Quel numero non è ipotetico. La ricerca sui sistemi ASR che elaborano il parlato di persone sorde con intelligibilità del parlato da media a bassa mostra costantemente Tassi di Errore sulle Parole tra il 77% e il 78%. Per confronto, i parlanti di inglese americano standard raggiungono il 10–18%. Il sistema non avrebbe mai potuto funzionare per D.K. Era progettato, dalle fondamenta, per escluderla.

Perché ogni strumento di IA per le assunzioni ha questo problema?

Ecco dove devo essere onesto riguardo al settore in cui lavoro.

La stragrande maggioranza delle "soluzioni di IA per le assunzioni" attualmente sul mercato sono ciò che chiamiamo prodotti wrapper. Sono interfacce sottili costruite sopra modelli linguistici di grandi dimensioni generici — GPT-4, Claude, Gemini. L'azienda aggiunge una bella interfaccia, alcuni prompt specifici per le risorse umane, magari una dashboard con grafici, e la vende come "intelligenza sui talenti basata sull'IA."

Mi sono seduto al tavolo con acquirenti aziendali che sinceramente non sapevano distinguere la differenza tra un wrapper e un sistema costruito su misura. E perché avrebbero dovuto? Il marketing sembra identico. Le demo sono impeccabili. L'azienda del wrapper dice "usiamo IA avanzata" e l'azienda di IA profonda dice "usiamo IA avanzata" e il team acquisti sceglie quella con il prezzo più basso.

La differenza emerge solo quando qualcuno come D.K. varca la porta.

Gli LLM generici ereditano ogni pregiudizio incorporato nei dataset su scala internet su cui sono stati addestrati. Se decenni di dati sulle assunzioni riflettono una preferenza per candidati che parlano in un certo modo, hanno un certo aspetto, si presentano in un certo modo, il modello non mette in discussione quel pattern — lo ottimizza. Non è un difetto nel ragionamento del modello. È letteralmente ciò per cui il modello è stato costruito: trovare pattern e replicarli.

Ricordo una discussione accesa con uno dei miei ingegneri — lo chiamerò Ravi — su se il debiasing avversariale valesse il sovraccarico computazionale. La sua posizione era pragmatica: "La maggior parte dei candidati non attiverà i casi limite. Stiamo aggiungendo latenza per uno scenario che riguarda forse il 2% dei colloqui." La mia risposta è stata schietta: "Se il tuo sistema funziona alla perfezione per il 98% delle persone e discrimina sistematicamente l'altro 2%, non hai costruito un buon prodotto con dei casi limite. Hai costruito una violazione dei diritti civili con un alto tasso di accuratezza."

Ravi si è ricreduto. Ma ripenso spesso a quella conversazione, perché so che sta accadendo in questo momento in ogni azienda di IA, e nella maggior parte di esse, i Ravi stanno vincendo.

Come si costruisce davvero un'IA che non discrimina?

La risposta tecnica conta, ma voglio spiegarla nel modo in cui la spiegherei a un amico, non nel modo in cui la scriverei in un documento di specifica.

L'idea centrale dietro ciò che costruiamo in Veriprajna è qualcosa chiamato debiasing avversariale. Immaginate di addestrare due modelli di IA simultaneamente. Il primo modello — quello che vi interessa davvero — cerca di prevedere se un candidato avrà successo in un ruolo. Il secondo modello è un avversario. Il suo unico compito è guardare le rappresentazioni interne del primo modello e cercare di indovinare l'etnia, il genere, la condizione di disabilità o qualsiasi altro attributo protetto del candidato.

Poi punite il primo modello ogni volta che l'avversario ci riesce.

Nel corso di migliaia di cicli di addestramento, il modello primario impara a fare previsioni che sono genuinamente cieche alle caratteristiche protette — non perché abbiate rimosso quei dati dall'input (questo è l'approccio ingenuo, e non funziona perché i proxy rimangono), ma perché il ragionamento interno del modello è stato costretto a trovare percorsi verso le sue conclusioni che non passano attraverso informazioni demografiche.

L'equità controfattuale significa dimostrare che il punteggio di un candidato rimarrebbe identico se i suoi attributi protetti — etnia, genere, disabilità — fossero diversi. Non è un'aspirazione. È un test matematico.

Questo è fondamentalmente diverso da ciò che può fare un wrapper. Non puoi innestare il debiasing avversariale su una chiamata all'API di GPT. Non puoi verificare retroattivamente le rappresentazioni interne di un modello che non controlli. Stai semplicemente inviando testo a una scatola nera sperando che l'output non sia discriminatorio. La speranza non è una strategia di conformità.

Ho scritto dell'intera architettura tecnica — incluso l'approccio di fusione multimodale e le metriche formali di equità — nel nostro whitepaper interattivo se volete approfondire.

Il collasso di modalità che ha affondato D.K.

C'è un guasto tecnico specifico nel caso HireVue che credo la maggior parte della copertura mediatica abbia trascurato, ed è uno di quelli che mi tengono sveglio la notte.

Il sistema soffriva di ciò che i ricercatori chiamano collasso di modalità. In un sistema di IA multimodale — uno che elabora video, audio e testo simultaneamente — ogni canale (o "modalità") contribuisce alla valutazione finale. In teoria, questo è più robusto di un sistema a canale singolo. Se l'audio è rumoroso, il video può compensare. Se la trascrizione è confusa, gli indizi visivi possono colmare le lacune.

In pratica, il sistema di HireVue sembra aver dato un peso eccessivo al canale audio. Quando la parola di D.K. non corrispondeva ai pattern che il modello si aspettava, il segnale audio non ha semplicemente contribuito con un punteggio basso — ha dominato l'intera valutazione. Il canale visivo, che avrebbe potuto catturare il suo coinvolgimento, la sua sicurezza, la sua espressività, è stato sovrastato.

Risolviamo questo con qualcosa che chiamiamo Debiasing Collaborativo con Fusione di Modalità. Quando il nostro sistema rileva che una modalità sta producendo output a bassa affidabilità — diciamo, l'ASR fatica con un accento non standard — non si limita a segnalare il problema. Aumenta automaticamente il peso delle altre modalità. Le risposte scritte acquisiscono più influenza. Gli indizi comportamentali visivi acquisiscono più influenza. Il canale audio degradato ne acquisisce meno.

Ma ecco la parte che credo conti di più, e non è affatto tecnica: quando l'affidabilità del nostro sistema scende sotto una soglia, il caso viene indirizzato a un essere umano. Non come ripensamento. Non come un "percorso di escalation" sepolto in un menu delle impostazioni. Come decisione architetturale fondamentale.

D.K. ha chiesto un trascrittore umano. Le è stato negato. Nel nostro sistema, non avrebbe avuto bisogno di chiederlo. Il sistema avrebbe riconosciuto il proprio limite e coinvolto automaticamente un essere umano.

L'IA dovrebbe sapere quando sta fallendo. Il fatto che il sistema di HireVue abbia valutato con sicurezza una trascrizione con un tasso di errore del 78% vi dice tutto su come questi strumenti vengono costruiti — e per chi vengono costruiti.

Cosa succede quando la legge recupera il ritardo?

Per anni, il settore dell'IA per le assunzioni ha operato in un vuoto normativo. Le aziende potevano implementare qualsiasi cosa volessero, non verificare nulla e declinare ogni responsabilità nei loro termini di servizio. Quell'era sta finendo, in fretta.

Il Colorado Artificial Intelligence Act (SB 24–205), in vigore all'inizio del 2026, stabilisce qualcosa di senza precedenti: un "dovere di diligenza ragionevole" giuridico per chiunque sviluppi o implementi sistemi di IA ad alto rischio. Le decisioni di assunzione e promozione sono esplicitamente classificate come ad alto rischio. La legge richiede valutazioni d'impatto annuali che verifichino la presenza di discriminazione algoritmica. Non volontarie. Non "buone prassi." Obbligatorie.

La Local Law 144 di New York City richiede già verifiche indipendenti sui pregiudizi per gli strumenti automatizzati di decisione sull'occupazione. Una legislazione simile sta avanzando in California e in Illinois. L'AI Act dell'UE classifica l'IA per il reclutamento come ad alto rischio e impone requisiti di trasparenza e supervisione umana sostenuti da sanzioni basate sul fatturato.

E poi c'è Mobley contro Workday, che potrebbe essere il caso più significativo di cui la maggior parte delle persone non ha sentito parlare. Un tribunale federale ha certificato un'azione collettiva e ha stabilito che un fornitore di IA può essere trattato come un "agente" o "datore di lavoro indiretto" quando il suo software svolge funzioni tradizionalmente gestite da un responsabile delle assunzioni umano. Quella singola sentenza ha demolito il muro protettivo di responsabilità su cui fa affidamento ogni azienda di wrapper — l'idea che il fornitore fornisca lo strumento ma il datore di lavoro si assuma tutto il rischio.

Un potenziale investitore mi ha detto, circa un anno fa, che l'IA orientata alla conformità era "una nicchia." Che il mercato voleva velocità e scala, non verificabilità. Gli ho detto che il mercato stava per essere trascinato in tribunale fino a desiderare la verificabilità. Credo che la denuncia dell'ACLU abbia dimostrato il punto.

Per l'analisi normativa dettagliata e il quadro completo su come le aziende dovrebbero prepararsi, l'approfondimento tecnico è qui.

"Ma il nostro sistema ha superato la verifica sui pregiudizi"

Le persone me lo chiedono continuamente — se un sistema supera una verifica annuale sui pregiudizi, non basta questo?

No. Ed ecco perché.

La maggior parte delle verifiche sui pregiudizi controlla l'impatto disparato usando la Regola dei Quattro Quinti: se il tasso di selezione per un gruppo protetto scende sotto l'80% del tasso del gruppo più selezionato, c'è un problema. È un utile limite minimo, ma è un pessimo limite massimo. Un sistema può superare la Regola dei Quattro Quinti in aggregato pur fallendo sistematicamente specifici gruppi intersezionali — diciamo, donne sorde e indigene — perché le dimensioni del campione sono troppo piccole per attivare la soglia statistica.

D.K. non è stata bocciata da un sistema ampiamente prevenuto contro le donne o ampiamente prevenuto contro gli indigeni. È stata bocciata da un sistema che non riusciva a elaborare la sua specifica combinazione di identità e stile comunicativo. Le metriche di equità aggregate non l'avrebbero mai colta.

Ecco perché usiamo l'analisi SHAP (SHapley Additive exPlanations) come livello di monitoraggio continuo, non come una casella da spuntare una volta all'anno. SHAP ci permette di scomporre ogni singola decisione nelle sue caratteristiche costituenti. Se un candidato ottiene un punteggio basso, possiamo vedere esattamente quali caratteristiche hanno determinato quel punteggio. E se quelle caratteristiche sono correlate ad attributi protetti anziché a competenze rilevanti per il lavoro — se la "prosodia" o la "cadenza del parlato" sta facendo il lavoro pesante invece della "capacità di problem solving" o della "competenza di dominio" — il sistema si segnala da solo per la correzione in tempo reale.

La differenza tra una verifica sui pregiudizi e il monitoraggio continuo della spiegabilità è la differenza tra una visita medica annuale e un monitor cardiaco. Uno vi dice cosa è già andato storto. L'altro coglie il problema mentre c'è ancora tempo per agire.

Il vero costo di sbagliare tutto questo

Voglio concludere con qualcosa che non riguarda la tecnologia o la regolamentazione.

Quando a D.K. è stata negata la promozione, l'azienda non ha solo violato i suoi diritti. Ha perso una dipendente ad alte prestazioni che aveva guadagnato bonus e recensioni positive — qualcuno che, secondo ogni misura umana, era pronto per il ruolo. L'IA non ha protetto l'azienda da una cattiva assunzione. Ha protetto l'azienda da una eccellente.

Ogni volta che un sistema prevenuto scarta un candidato qualificato — per un accento, una disabilità, un nome, uno schema di parola che non corrisponde ai dati di addestramento — l'azienda non affronta solo un rischio legale. Perde la persona. Perde la prospettiva, l'approccio al problem solving, l'esperienza vissuta che nessuna quantità di ottimizzazione del "fit culturale" può replicare.

Ho costruito Veriprajna su una convinzione che mantengo ora con più forza di quando ho iniziato: le aziende che domineranno il prossimo decennio sono quelle che capiscono come usare l'IA come ponte verso talenti che altrimenti perderebbero, non come un filtro che li scarta. L'era dei wrapper sta crollando sotto il peso delle proprie cause legali. L'era della scatola nera viene cancellata dall'esistenza per via legislativa.

Ciò che la sostituisce deve essere diverso nella natura, non nel grado. Non un wrapper migliore. Non una chiamata a GPT con prompt più accurati. Un'architettura fondamentalmente diversa — una che sa quando sbaglia, spiega perché ha ragione e coinvolge un essere umano quando nessuna delle due cose è certa.

L'IA dovrebbe essere un ponte verso il talento, non una barriera ad esso. Qualsiasi sistema che non sappia distinguere tra una disabilità e una carenza non ha alcun titolo per prendere decisioni sulle carriere delle persone.

L'era del "implementa e declina ogni responsabilità" è finita. Ciò che viene dopo è più difficile, più lento, più costoso da costruire, ed è l'unica cosa che funzionerà davvero.