La dashboard verde mentiva: cosa deve davvero testare la validazione dell'AI aziendale

Ho passato buona parte della mia carriera come la persona nella stanza il cui compito è dire «no, quel modello non è ancora validato». Nel settore bancario questa funzione ha un nome asettico — validazione indipendente dei modelli ai sensi della SR 11-7, le linee guida della Federal Reserve e dell'OCC che regolano il rischio di modello dal 2011. Il lavoro è affascinante esattamente quanto sembra. Leggi l'appendice sui limiti che nessun altro legge. Chiedi al fornitore come si comporta il modello nei casi che non compaiono nella demo. E ogni tanto ti ritrovi in un comitato di audit davanti a una dashboard interamente, rassicurantemente verde — ogni casella spuntata, ogni policy mappata, ogni stato di conformità nominale — sapendo, con una sensazione di sconforto, che quel verde non ti dice quasi nulla sul fatto che la cosa funzioni davvero.

Questo divario è l'argomento di tutto questo saggio, ed è il motivo per cui abbiamo costruito la pratica di validazione dell'AI aziendale di Veriprajna attorno a un'unica idea poco alla moda: bisogna testare le risposte, non il processo. Una dashboard di governance certifica che una procedura è stata seguita. Non certifica che la tua AI abbia dato la risposta giusta per questo assicurato, questo prestito, questa legge. Le due cose vengono continuamente confuse nelle riunioni del consiglio, e la confusione è costosa.

Lascia che ti mostri quanto sia costosa.

Klarna ha risparmiato il 40% — poi ha perso 99 milioni di dollari

Nel 2024, Klarna ha annunciato al mondo che il suo assistente AI aveva sostituito 700 agenti del servizio clienti. L'assistente gestiva circa due terzi delle chat in 35 lingue. Il costo per transazione è sceso da $0.32 a $0.19 — circa il 40% — e i titoli dei giornali si scrivevano da soli. Questo era il futuro: più snello, più veloce, più economico.

Entro metà 2025 stavano ridistribuendo ingegneri del software e addetti al marketing per presidiare i call center. I punteggi CSAT erano scesi del 22%. I clienti finivano in quello che la stampa ha definito un «loop kafkiano» sulle questioni difficili — addebiti contestati, rimborsi contestati, chiusure di conti. Il primo trimestre 2025 di Klarna si è chiuso con una perdita netta di 99 milioni di dollari, in aumento rispetto ai 47 milioni dell'anno precedente, nonostante una crescita dei ricavi del 15%. Il CEO ha ammesso che automatizzare su larga scala aveva «portato a un calo della qualità del servizio».

Ecco la parte che ho impiegato un po' a interiorizzare, ed è l'opposto della lezione che la maggior parte delle persone ha tratto. L'AI di Klarna funzionava. Ha davvero fatto risparmiare sui reset delle password e sulle domande sullo stato degli ordini. Il fallimento non è stato che l'AI fosse cattiva. Il fallimento è stato che nessuno ha validato se fosse in grado di gestire il 20% delle interazioni che portano la maggior parte del peso finanziario e reputazionale — le controversie, i casi limite, le cose che si trasformano in abbandono e reclami. Un filtro sulla tossicità avrebbe superato ognuna di quelle conversazioni fallite. L'AI era gentile mentre falliva.

L'AI non ha detto nulla di offensivo. Semplicemente non riusciva a gestire un rimborso multivaluta che coinvolgeva un volo cancellato e un addebito contestato — ed era quel 20% che contava.

Klarna non è un caso isolato. È la versione visibile di qualcosa che accade silenziosamente in ogni azienda con cui parlo. Tra il 70% e l'85% dei progetti di AI aziendale non arriva mai in produzione — una cifra a cui RAND, Gartner, BCG e McKinsey sono tutte arrivate vicine in modo indipendente. Lo studio NANDA del MIT nel 2025 ha rilevato che il 95% dei progetti pilota di AI non ha prodotto alcun impatto misurabile su profitti e perdite. McKinsey ha riferito che il 42% delle aziende ha abbandonato la maggior parte delle proprie iniziative di AI nel 2025, in aumento rispetto al 17% dell'anno precedente. I progetti pilota fanno bellissime demo. Muoiono al contatto con i casi che la demo non ha mai mostrato.

Prima abbiamo costruito la cosa sbagliata

Voglio essere onesto su come siamo arrivati a testare le risposte invece del processo, perché non ci siamo arrivati per bravura. Ci siamo arrivati rilasciando qualcosa che non funzionava e guardandolo fallire davanti a un cliente.

La nostra prima versione di un livello di validazione dell'AI era, col senno di poi, esattamente ciò che il mercato stava già vendendo. Abbiamo messo insieme un rispettabile framework di guardrail — moderazione dei contenuti, rilevamento delle PII, controlli anti-jailbreak — vi abbiamo aggiunto il monitoraggio di drift ed equità, e abbiamo reso il tutto come una pulita vista di conformità. Input analizzati. Output analizzati per tossicità e dati personali trapelati. Una dashboard che diventava verde. Ne ero orgoglioso. Sembrava governance.

L'abbiamo messo davanti a un progetto pilota in un flusso di lavoro finanziario regolamentato, e nelle prime settimane l'AI ha prodotto una risposta sicura, ben formattata, priva di qualsiasi tossicità, senza alcuna PII trapelata — ed era semplicemente sbagliata su una regola di dominio. Il nostro sistema l'ha superata. Ogni controllo che avevamo costruito era verde. L'errore era nella sostanza della risposta, in un punto che nessuno dei nostri guardrail stava guardando, perché nessuno di essi comprendeva il dominio abbastanza bene da sapere che la risposta era sbagliata.

Quello fu il mese in cui smisi di credere nella categoria in cui ci eravamo inseriti. Avevo passato anni nella validazione dei modelli sapendolo nel contesto bancario, e avevo comunque costruito uno strumento che commetteva lo stesso errore che avevo passato la carriera a scovare. La security non è correttezza. La safety non è correttezza. Una dashboard verde non è correttezza.

Un'AI che è sicura contro il prompt injection può comunque calcolare male una riserva, citare una legge abrogata o approvare un prestito che viola le norme sul credito equo. Safety e correttezza sono problemi diversi, e quasi nessuno sta testando il secondo.

Perché gli strumenti di cui hai sentito parlare si fermano dove si fermano?

Esiste ormai un mercato reale e ben finanziato di strumenti di AI, in crescita a un tasso annuo composto di circa il 45%, e non voglio essere ingiusto nei suoi confronti. La maggior parte di questi prodotti svolge bene il proprio effettivo lavoro. Il problema è che il loro effettivo lavoro non è il lavoro che la maggior parte degli acquirenti pensa di comprare.

Le piattaforme di governance — Credo AI, watsonx.governance di IBM, ModelOp — mappano le tue iniziative di AI rispetto ai quadri normativi e tracciano lo stato di conformità. Credo AI si è classificata al #6 nell'Applied AI nella lista 2026 di Fast Company, accanto a Google, Nvidia e Anthropic; è un lavoro serio. Ma la conformità alle policy non è la correttezza dell'output. Una dashboard di conformità verde significa che le scartoffie sono in ordine, non che l'AI dia risposte giuste per il tuo caso d'uso specifico.

Gli strumenti di monitoraggio — Arthur, Galileo, Arize — osservano le metriche a livello di modello in tempo reale: drift, equità, latenza, distribuzioni dei token. Utile. Ma monitorano il comportamento aggregato del modello, non se un particolare calcolo assicurativo sia corretto dati i termini di copertura di un particolare assicurato. Gli strumenti di security vanno un livello più a fondo — Cisco ha pagato circa 400 milioni di dollari per Robust Intelligence nell'ottobre 2024 e l'ha integrata in Cisco AI Defense, mappando i rilevamenti su OWASP e MITRE ATLAS. Questo è necessario. Ma riguarda comunque se il modello possa essere attaccato, non se sia corretto.

Poi ci sono i framework di guardrail, NeMo Guardrails di NVIDIA e simili, che sono bravi nella moderazione dei contenuti, nelle PII e nel filtraggio degli argomenti — e che NVIDIA stessa si premura di dire non possono intercettare tutto, perché i meccanismi di auto-verifica dipendono proprio dai modelli che stanno proteggendo. E ci sono le Big Four, che ti venderanno una strategia di governance per una cifra tra i 500.000 e i 5 milioni di dollari nell'arco di 6-18 mesi e alla fine ti consegneranno un PowerPoint e una rosa di fornitori — un framework, non un sistema funzionante che ti dice che la tua AI ha sbagliato un martedì.

Ognuno di questi ha una colonna dove la sua utilità si ferma. Mettili insieme tutti e avrai coperto policy, security, drift e sicurezza dei contenuti. Ma non avrai ancora risposto alla domanda che determina davvero se il deployment vive o muore: la risposta è corretta per questo caso?

Il problema del 69%

Se vuoi il numero che me l'ha reso concreto, è questo. Nei compiti di due diligence legale, test indipendenti hanno collocato i tassi di errore dell'AI tra il 69% e l'88% — molto al di sopra di quanto suggeriscono i benchmark dei fornitori. Fermati a rifletterci. Non 6,9%. Da sessantanove a ottantotto.

E questi non sono errori che un guardrail intercetta, perché non sono offensivi né insicuri. Sono sbagliati nel modo che solo chi conosce il dominio può vedere. Entro la fine del 2025 c'erano più di 729 incidenti documentati di allucinazioni dell'AI in atti giudiziari — in aumento rispetto ai 280 dell'anno precedente. I tribunali hanno iniziato a comminare multe. In un caso, Doiban v. OLCC, la sanzione ammontava a 500 dollari per ciascuna delle 15 citazioni inventate più 1.000 dollari per il tempo impiegato dall'avvocato della controparte a rintracciare casi fantasma che non esistevano. Uno dei più grandi studi legali statunitensi ha registrato tre distinti episodi di allucinazione in sei mesi.

Si tratta di professionisti, che ricontrollano il proprio lavoro, in un campo dove sbagliare ha conseguenze — e l'AI ha comunque fabbricato giurisprudenza in modo abbastanza convincente da finire in un atto giudiziario. Questa è la trama del fallimento. È fluente, plausibile e falso, e vive precisamente nella conoscenza del dominio che il monitoraggio generico non ha modo di valutare.

Cosa validi quando il fornitore non apre la scatola?

Nei settori regolamentati questo smette di essere un interessante problema ingegneristico e diventa un problema legale. Se un modello influenza l'assunzione di rischi, il calcolo delle riserve o il capitale, la SR 11-7 nel settore bancario statunitense — e il Pilastro 2 di Solvency II per gli assicuratori europei — richiede che sia validato in modo indipendente, documentato e monitorato in continuazione. Quell'obbligo ora si applica anche ai large language model; a un regolatore non importa che il tuo modello si dia il caso sia un LLM.

Ed ecco il dilemma in cui continuavo a imbattermi. La validazione secondo la SR 11-7 tradizionalmente si basa sul comprendere il modello — le sue assunzioni, i suoi interni, i suoi confini. Ma i fornitori di LLM non ti diranno come funziona il modello. Ho l'email nel mio archivio, in varie formulazioni: non possiamo divulgare gli interni del modello. Sei legalmente tenuto a validare qualcosa che il fornitore si rifiuta di aprire.

L'unica via d'uscita da quel dilemma è smettere di provare a ispezionare i pesi e iniziare a valutare gli output rispetto alla verità di riferimento del dominio. Costruisci un corpus di casi in cui conosci la risposta corretta — come dovrebbe essere fissata una riserva per responsabilità a coda lunga quando il sotto-limite di una polizza e un'esclusione di copertura interagiscono, cosa significa una legge abrogata, come si applica una norma sul credito equo — e verifichi se l'AI li azzecca, su larga scala, in continuazione, ogni volta che il modello viene aggiornato o ri-ottimizzato. Validi il comportamento che puoi vedere, perché è comunque il comportamento che il regolatore e il cliente sperimentano. Questo è il cuore di ciò che ora costruiamo, ed è l'unico approccio che funziona che il fornitore apra o meno la scatola.

Quando non puoi vedere dentro il modello, il livello di output è l'unico posto onesto rimasto per validare — e, guarda caso, è l'unico livello che il tuo cliente e il tuo regolatore toccano davvero.

Perché «basta comprare una piattaforma» ha smesso di essere la risposta

C'è una silenziosa rivolta in corso nel modo in cui le aziende costruiscono l'AI, e ha un impatto diretto sulla validazione. Il report build-versus-buy 2026 di Retool ha rilevato che il 35% dei team ha già sostituito almeno uno strumento SaaS con una soluzione costruita su misura, e il 78% prevede di costruirne altre. Le soluzioni su misura, allineate a una specifica logica di business, hanno mostrato un rendimento da 3 a 5 volte superiore rispetto ai wrapper generici — in parte perché circa il 65% del costo del software arriva dopo il deployment, nell'integrazione, nella manutenzione e nelle cose che il wrapper non faceva del tutto.

Ma c'è un tranello che la folla del «costruiscilo da solo» tralascia. Costruire una validazione su misura come si deve richiede team di infrastruttura ML che la maggior parte delle aziende non ha. Quindi il vero panorama non è wrapper contro soluzione su misura. Sono tre opzioni: un wrapper generico che non comprende il tuo dominio, un progetto fai-da-te per cui non hai il personale, o sistemi di esperti di dominio costruiti per il tuo specifico settore verticale da persone che hanno già svolto questo lavoro di validazione. Quella terza opzione è lo spazio in cui abbiamo deciso di vivere. Non una dashboard che concedi in licenza. Non una piattaforma per cui assumi personale. Un livello di validazione costruito attorno alla verità effettiva del tuo dominio.

«Ma lo strumento di governance che abbiamo già comprato non copre questo?»

Le persone mi pongono una versione di questa domanda di continuo, di solito con una nota di speranza, perché hanno già speso il budget. La risposta onesta è che il tuo strumento di governance copre la governance — e la governance è davvero necessaria. Tienilo. Semplicemente non valida la correttezza, e non è mai stato costruito per farlo.

La seconda cosa che chiedono riguarda l'AI che non possono vedere — la shadow AI. Questa tiene svegli i risk officer di notte, e i numeri dicono che dovrebbe: il 78% dei dipendenti usa strumenti di AI che il datore di lavoro non ha fornito, e il 77% di loro ha inserito informazioni sensibili o proprietarie in quegli strumenti. Sia Samsung sia Amazon hanno scoperto il proprio codice proprietario che si trovava in servizi di AI pubblici. La violazione media da shadow AI costa 4,63 milioni di dollari. L'inquadramento dello stesso Gartner è quello scomodo — la grande maggioranza dell'attività di AI non autorizzata deriva da violazioni delle policy interne, condivisione eccessiva e uso improprio, non da attaccanti esterni. La tua piattaforma di governance non può governare ciò che non può vedere, e la validazione deve iniziare dallo scoprire cosa sta effettivamente girando.

La terza domanda è quella che arriva più in fretta. Gartner prevede che il 40% delle applicazioni aziendali integrerà agenti di AI autonomi entro la fine del 2026 — agenti che non si limitano a rispondere, ma agiscono: modificano database, eseguono transazioni, inviano comunicazioni ai clienti. Solo circa un terzo delle organizzazioni dichiara una governance matura per qualcosa di tutto ciò. Quando un agente può compiere un'azione irreversibile, la domanda di validazione passa da «ha detto la cosa giusta» a «ha fatto la cosa giusta», e un'azione sbagliata che non puoi ritirare è una categoria di rischio diversa da una frase sbagliata. Il monitoraggio costruito per i chatbot non è mai stato progettato per questo.

La tabella delle sanzioni che nessuno vuole nella slide per il consiglio

Chiuderò con il numero che tende a porre fine al dibattito, perché rende il costo di non validare comprensibile a un CFO in un modo che i tassi di errore non raggiungono.

A partire dal 2 agosto 2026, la maggior parte degli obblighi residui dell'EU AI Act entra in vigore — le regole per i sistemi ad alto rischio, i requisiti di trasparenza previsti dall'Articolo 50. La sanzione per le pratiche vietate arriva fino a 35 milioni di euro o al 7% del fatturato globale; la non conformità ad alto rischio, fino a 15 milioni di euro o al 3%. La Finlandia è diventata il primo Stato membro con poteri di applicazione pienamente operativi nel gennaio 2026. Questo non è più un promemoria futuro. È una voce di bilancio con una data sopra.

Somma il resto del conto per aver saltato la validazione: 4,63 milioni di dollari per ogni violazione da shadow AI, oltre 1 milione di dollari all'ora durante un grave disservizio dell'AI, 99 milioni di dollari quando la qualità del servizio crolla silenziosamente, sanzioni a sei cifre per ogni episodio di allucinazione, e una sanzione UE misurata in punti di fatturato globale. A fronte di tutto questo, il costo di validare la tua AI come si deve — testando le risposte, rispetto al tuo dominio, in continuazione — è un errore di arrotondamento. Eppure la maggior parte delle aziende tratta ancora la validazione come una casella da spuntare una volta, non come una disciplina da praticare.

La dashboard verde diceva loro che andava tutto bene. Il problema è che la dashboard stava valutando la cosa sbagliata. Verificava che avessero seguito il processo — l'unica cosa che è facile da controllare e sicura da possedere, il che è esattamente il motivo per cui sopravvive nelle presentazioni per il consiglio molto dopo che ha smesso di significare qualcosa. Non ha mai chiesto una sola volta se la risposta fosse giusta — e che la risposta fosse giusta era l'unica cosa a cui il cliente, il regolatore e la colonna delle perdite tenessero. Se vuoi vedere come testiamo invece proprio questo, abbiamo descritto qui il nostro approccio.

Tengo ancora la checklist dei quattro pilastri della SR 11-7 dove posso vederla, e il quarto pilastro è il monitoraggio — che significa qualcosa solo se stai monitorando la cosa giusta. Una dashboard che valuta il tuo processo se ne starà lì verde mentre la tua AI pasticcia silenziosamente il rimborso multivaluta, la riserva contestata, la legge abrogata. Anche quella di Klarna era verde, fino al trimestre in cui ha perso 99 milioni di dollari. La validazione che davvero ti protegge è il lavoro poco glamour che ho svolto per tutta la mia carriera: raccogliere i casi in cui conosci già la risposta corretta, e verificare — ancora, e ancora, ogni volta che il modello cambia — se la macchina continua ad azzeccarli.