La mia AI da redazione ha inventato una citazione che il sindaco non aveva mai detto. Intercettarla prima dei lettori è l'intero prodotto.
La prima volta che ho visto il mio stesso answerer mettere parole in bocca a un sindaco, ho sentito quel freddo specifico che arriva quando capisci di aver costruito la cosa di cui avevi paura.
Gli avevo posto una domanda banale da lettore: Cosa aveva promesso il sindaco Reyes agli sviluppatori sul lotto del lungofiume? L'archivio che stava leggendo, una serie sintetica di 13 anni di un giornale fittizio che chiamo The Riverbend Ledger, non registra alcuna promessa del genere. Un articolo nota addirittura che il lotto "non era all'ordine del giorno." Niente di tutto questo ha fermato il modello linguistico. Ha restituito una frase fluida e sicura di sé, con le virgolette: "Siamo impegnati a far avanzare il lotto del lungofiume per gli sviluppatori." Al sindaco Elena Reyes, una persona che non esiste, era appena stato fatto promettere qualcosa che non aveva mai detto, in una prosa abbastanza pulita da pubblicare sotto una testata. Voglio vederlo, decidere e trattenere ciò che fallisce su veriprajna.com/it/demos/ai-conversazionale-per-editori-the-standards-desk.
Questo è un saggio sul presupposto da cui sono partito, che la maggior parte di chi sta costruendo AI per le redazioni condivide ancora, e sul modo lento in cui costruire questa demo l'ha smontato. Il presupposto è che il problema della fabbricazione si risolva con un modello migliore. Io non lo credo più, e non perché dubiti che i modelli continueranno a migliorare.
Avevo davanti un fallimento reale prima di iniziare, e non era sintetico. Alla fine del 2025, il Washington Post con "Ask The Post AI" ha messo online un podcast generato dall'AI che inventava citazioni, attribuiva male le fonti e inseriva commenti come se fossero la posizione editoriale del giornale. È emerso come emergono queste cose, quando è trapelato lo Slack del standards editor (Semafor, 11 dicembre 2025). Il fallimento tecnico sotto l'imbarazzo era piccolo e specifico: un passaggio mancante di verifica delle citazioni. Non volevo costruire un conduttore di podcast più intelligente. Volevo costruire il passaggio che mancava.
La settimana in cui ho cercato di far smettere al modello di mentire
Ho passato circa una settimana a cercare di rendere affidabile l'answerer stesso, e voglio essere onesto: è stata la settimana sbagliata.
Il ragionamento all'epoca sembrava a prova di bomba. Se il modello fabbrica una citazione, stringi il modello. Prompt di grounding migliori, temperatura più bassa, istruzioni più severe a usare solo i passaggi recuperati, un passaggio di self-check in cui il modello rilegge la propria risposta e valuta se ogni frase è supportata. Ho costruito tutto. Ha aiutato ai margini e ha fallito al centro, perché il fallimento che mi interessava non era il modello disattento. Era il modello sicuro di sé e fluentemente sbagliato proprio nel registro di cui un desk di revisione si fida. La citazione di Reyes non sembrava un'allucinazione. Sembrava un pezzo di reporting.
Il passaggio di self-check è stato il momento in cui l'approccio è morto per me. Stavo chiedendo allo stesso modello che aveva scritto la citazione fabbricata di dirmi se la citazione fabbricata fosse reale, e in una frazione significativa dei casi diceva di sì, torna. Certo che lo faceva. In quel momento non aveva un accesso indipendente al testo dell'archivio. Aveva la propria sicurezza, che è l'unica cosa che non puoi usare per auditarlo.
Stavo chiedendo a un sistema probabilistico di certificare l'output di un sistema probabilistico, e chiamavo il risultato verifica. Non è verifica. Sono due indovinelli che concordano.
E la posta in gioco non è accademica, perché un editore non ha la solita via di fuga di internet. Non esiste uno scudo Section 230 per i contenuti che il vostro stesso sistema genera dal vostro stesso archivio. Nel momento in cui rispondete a una domanda di un lettore sotto il vostro nome, vi appropriate della risposta, citazione inclusa. Un querelante per diffamazione non chiederà quanto fosse sicuro il vostro modello. Chiederà se la citazione era reale e se l'archivio l'aveva davvero detta. Sono due domande, e le avevo trattate come un solo problema da far risolvere al modello.
Il motivo per cui tutto questo conta commercialmente è che gli editori ci vengono spinti che lo vogliano o no. Gli AI Overviews appaiono ora sul 48% delle ricerche Google (theStacc / Search Engine Land, marzo 2026). Il traffico di ricerca degli editori è calato del 33% anno su anno fino a novembre 2025, con un ulteriore calo di circa il 43% atteso entro il 2029 (Reuters Institute Trends 2026). Quando un AI Overview è apparso sopra il link, il Daily Mail ha visto il click-through desktop crollare dell'89%. Il traffico che un tempo arrivava dai lettori che trovavano il vostro archivio sta sparendo, quindi la pressione per lasciare che i lettori interroghino direttamente il vostro archivio è enorme. La trappola è che la prima cosa onesta che succede quando lo fai è la citazione di Reyes.
La risposta che un widget banale non può scrivere
Voglio prima essere equo con l'ambizione, perché il motivo per cui una redazione la vuole è reale e una casella di ricerca non può farlo.
Chiedete a The Standards Desk la versione dura e longitudinale di una domanda da lettore, Come è cambiata la posizione del sindaco Reyes sull'ordinanza sulla densità del centro dal 2014 al 2025?, e un temporal-planner spezza prima il decennio in finestre (2014-2017, 2018-2021, 2022-2025), recupera su ciascuna e assembla una narrativa cronologica. Cammina dal 2014, "Non baratterò il carattere di Riverbend per delle torri," al 2025, "Lo rifarei," con un marcatore inline [S#] su ogni clausola che al passaggio del mouse mostra il vero passaggio d'archivio dietro di essa. Questa è la risposta che un widget vector-RAG vanilla non può produrre, perché non è una sola lookup. È una sintesi pianificata nel tempo, ancorata frase per frase.
Quel banner verde è la parte seducente, ed è dove ho quasi perso di nuovo il filo. Quando la pipeline funziona, funziona meravigliosamente, e una demo bella ti fa voglia di fidarti del motore che l'ha prodotta. Ma il banner verde non è il prodotto. Ciò che decide se a un banner è permesso di essere verde è il prodotto. La risposta longitudinale passa perché ogni affermazione è ancorata e ogni citazione è controllata alla lettera. La risposta sul lungofiume, scritta dallo stesso motore pochi minuti prima, no. La differenza tra le due non è la qualità del modello. È un gate.
La citazione che il sindaco Reyes non ha mai dato
Continuo a tornare alla risposta sul lungofiume perché è quella che mi ha insegnato cosa stavo davvero costruendo.
Ecco cosa ci fa il gate, e niente di tutto questo è il modello che valuta se stesso. La risposta viene scomposta in affermazioni atomiche. Ogni affermazione è ancorata a un passaggio recuperato specifico. Ogni stringa tra virgolette è controllata, carattere per carattere, rispetto al testo fonte che cita. Sulla risposta sul lungofiume la copertura è tornata al 50%, una di due affermazioni supportata, e lo span citato, quella riga sul far avanzare il lotto, non è stato trovato alla lettera in nessuna fonte citata. Un policy gate deterministico ha letto quei fatti e ha instradato l'intera risposta a TRATTENUTO PER REVISIONE DELLA STANDARDS DESK. Non è mai stata mostrata a un lettore.
Il linguaggio del banner per me conta più di quanto probabilmente dovrebbe. Non dice "bassa confidenza" o "per favore revisionate." Dice trattenuto, e non mostrato ai lettori, e lo intende sul serio, perché il widget del lettore letteralmente non riceve mai la bozza trattenuta. Questa è l'intera differenza tra la fabbricazione di Reyes e quella di Ask The Post AI. Il motore del Post ha prodotto una citazione falsa e un lettore l'ha sentita. Il mio ha prodotto una citazione altrettanto falsa e un lettore non la sentirà mai, perché la fabbricazione e la pubblicazione sono due eventi separati e io ho messo un muro tra di loro.
L'answerer ha confabulato esattamente come farebbe un widget senza protezioni. L'unica cosa che ha cambiato l'esito è stato un controllo che non si fida dell'answerer.
Intorno a quel momento ho smesso di cercare di impedire al modello di confabulare. Può, l'ha fatto, lo farà. Il valore non è mai stato un modello che non mente mai. È stato intercettare la menzogna prima che un lettore la veda. È un'affermazione più piccola e più onesta di "la nostra AI non allucina," ed è l'unica dietro cui sono disposto a stare, perché ho visto il modello fallire e ho visto il gate trattenere nella stessa sessione.
Perché la sicurezza di pubblicazione non può vivere dentro il modello
Ho preso presto una decisione architetturale ed è quella che difenderei più duramente: la parte che decide cosa è sicuro da pubblicare vive interamente fuori dai language model.
Ci sono tre agenti nella pipeline, e sono genuinamente utili. Un temporal-planner, un answerer, un provenance auditor, intercambiabili per provider e di default su claude-opus-4-8. Consigliano. Ma la regola della citazione alla lettera, un exact string match di ogni span tra virgolette rispetto alla fonte citata, e il policy gate che legge la copertura e instrada la risposta, sono Python puro. Nessun prompt, nessuna temperatura, nessun self-report del modello. Me lo ripeto continuamente mentre costruisco: gli agenti consigliano, il codice decide. Se il motivo per cui vi serve un controllo è che l'output del modello non può essere preso per buono così com'è, il controllo non può essere un'altra cosa che il modello dice di sé.
Ecco perché la regola alla lettera è deterministica di proposito. "Questa esatta stringa citata è apparsa nel passaggio che cita" non è un giudizio. È aritmetica sul testo fonte, e restituisce lo stesso verdetto ogni volta che la esegui. Quella riproducibilità è ciò che rende la ricevuta di audit degna di qualcosa. Un clic esporta una ricevuta JSON per risposta: la query, le sotto-domande scomposte, le fonti recuperate con date e id, la risposta pubblicata, un verdetto per affermazione con il passaggio di evidenza, un risultato alla lettera per citazione, la decisione del gate e il suo motivo, il motore e il modello, e un timestamp UTC. Potete rieseguirla e ottenere la ricevuta identica. Un giudice basato su modello, per quanto bravo, non può prometterti questo, e io ho vissuto la versione in cui lo stesso input mi dava tre risposte diverse.
Voglio essere preciso su cosa è reale qui e cosa è messo in scena, perché l'onestà è il brand. Tutto gira offline attraverso uno stub deterministico o un bridge Claude locale senza chiave, così la demo è riproducibile. Alcune parti difficili sono deliberatamente rimandate e non farò finta altrimenti: la entity resolution di produzione è una fixture pre-risolta, il temporal knowledge graph è dimostrato tramite tag di data ed entità più il planner piuttosto che un Neo4j live, la sync CMS è una fixture Arc XP, e il kill switch sostiene un flag locale. Ciò che è reale è il meccanismo: il grounding, il controllo alla lettera, il gate deterministico e la ricevuta.
Cosa può significare "10 su 10"
Mi impongo una regola sui numeri, perché ho chiamato l'azienda Veriprajna, vera saggezza, e un nome del genere è una sfida permanente a esagerare.
Quindi ecco esattamente cosa dice il benchmark ed esattamente cosa non dice. Su un eval set etichettato di 10 query, ogni query atterra nel bucket di gate atteso, 10 su 10. Sei di quelle dieci sono state pubblicate senza tocco umano: tre auto-approvate in modo pulito, tre pubblicate dopo che una frase non supportata è stata potata e il resto ha passato. Due sono state instradate alla revisione della standards desk, i due casi trappola-citazione, la valvola di sicurezza visibilmente al lavoro. Due sono state oneste astensioni "fuori copertura", in cui il recupero non ha superato la soglia di score e il sistema ha rifiutato di indovinare piuttosto che confabulare un numero. Tredici unit test passano. Il corpus è di 200 articoli sintetici dal 2014 al 2025.
Questi sono i numeri della demo costruita su dieci casi genuinamente difficili piantati in quattro bucket. Non sono una garanzia di accuratezza open-world, e non li gonfierò fino a farli diventare tale. Lo split 60/20/20 è il risultato di questo eval set, non una promessa sul vostro archivio. L'unica affermazione che enuncerò in modo piatto è quella deterministica, perché è un invariante unit-tested piuttosto che una speranza: nessuna risposta con una citazione non verificabile o un'affermazione non supportata viene mai auto-approvata. Contro una baseline vector-RAG vanilla senza protezioni, il tipo di widget chat SaaS che un editore comprerebbe davvero, c'erano cinque risposte che avrebbe pubblicato con uno span fabbricato o un'affermazione non supportata che questo gate ha trattenuto. Cinque è un numero piccolo. Cinque citazioni sbagliate sotto la vostra testata non lo sono.
Una risposta sicura di sé è a buon mercato. Una dimostrabile, con una ricevuta che potete rieseguire e consegnare a un avvocato, è l'intera cosa per cui state davvero pagando.
Trattenere non è forse solo la macchina che evita la decisione difficile?
Mi arriva qualche versione di questa domanda in quasi ogni conversazione, e la mia risposta è diventata più corta e più certa.
No. Trattenere la risposta è la decisione difficile, presa con onestà, e spedire un'ipotesi sicura di sé è la scorciatoia. L'alternativa seducente è un widget che restituisce sempre una risposta nitida e pubblicabile a ogni lettore, perché fa una demo bellissima e non rende mai più dura la giornata di uno standards editor. È anche l'architettura di Ask The Post AI, e fallisce esattamente come è fallita quella. Un sistema che non sa dire "non posso verificarlo, trattienilo" è un sistema che fabbrica certezza che non ha. E una redazione, tra tutte le istituzioni, sa che la disponibilità a non pubblicare qualcosa è l'intero lavoro di una standards desk.
Ecco perché penso che questo lavoro sopravviva all'attuale generazione di modelli. Concedete tutto ciò che promettono gli ottimisti: un modello più grande, training più pulito, un tasso di fabbricazione più basso. Un modello perfetto che non inventa mai una citazione attribuirà comunque allegramente una vera alla persona sbagliata o all'anno sbagliato, perché dall'interno della bozza quella frase suona vera ed è esattamente ciò che è stato chiesto. "Sicuro da pubblicare sotto la vostra testata" non è una capacità che aspettiate che il modello cresca fino a raggiungere. È una proprietà di governance del sistema che costruite intorno a esso, e non c'è alcuno scudo Section 230 che vi restituisca il giorno in cui pubblicate la citazione di Reyes. Il corollario scomodo su cui continuo ad arrivare è che l'AI più preziosa che una redazione può far girare è la parte disposta a dire non posso verificarlo, trattienilo per la standards desk. Se volete guardarlo decidere, trattenere la fabbricazione ed esportare la ricevuta, è qui: veriprajna.com/it/demos/ai-conversazionale-per-editori-the-standards-desk.
E se preferite guardarlo piuttosto che leggermi descriverlo, ecco l'intera cosa che gira da capo a fondo.
Quindi la domanda che lascerei a un editore è quella che ha riorganizzato l'intera mia build. Quando il vostro archivio risponde a un lettore a vostro nome, e la risposta è fluida e pulita e cita qualcuno, avete uno strato disposto a dimostrare che la citazione era reale prima che il lettore la veda mai? Perché il modello suonerà sempre sicuro. La ricevuta è l'unica cosa che lo è.
