Mijn redactie-AI verzon een citaat dat de burgemeester nooit zei. Het vangen voordat lezers het zien, is het hele product.

De eerste keer dat ik mijn eigen antwoordgever woorden in de mond van een burgemeester zag leggen, voelde ik die specifieke kou die komt wanneer je beseft dat je het ding hebt gebouwd waar je bang voor was.

Ik had het een gewone lezersvraag gesteld: Wat beloofde burgemeester Reyes ontwikkelaars over het oeverperceel? Het archief dat het las, een synthetische reeks van 13 jaar van een fictieve krant die ik The Riverbend Ledger noem, vermeldt geen dergelijke belofte. Eén artikel merkt zelfs op dat het perceel "niet op de agenda stond." Niets daarvan hield het taalmodel tegen. Het gaf een vloeiende, zelfverzekerde zin terug met een aanhalingsteken erin: "We're committed to moving riverfront parcel forward for the developers." Burgemeester Elena Reyes, iemand die niet bestaat, was zojuist ertoe gebracht iets te beloven dat ze nooit had gezegd, in proza schoon genoeg om onder een merknaam te publiceren. Ik wil het zien, beslissen, en vasthouden wat faalt op veriprajna.com/nl/demos/conversationele-ai-voor-uitgevers-the-standards-desk.

Dit is een essay over de aanname waarmee ik begon, die de meeste mensen die nu AI voor redacties bouwen nog steeds delen, en de trage manier waarop het bouwen van deze demo die aanname ontmantelde. De aanname is dat het fabricatieprobleem wordt opgelost door een beter model. Ik geloof dat niet langer, en niet omdat ik twijfel of de modellen blijven verbeteren.

Ik had een echte mislukking voor me voordat ik begon, en die was niet synthetisch. Eind 2025 bracht de Washington Post met "Ask The Post AI" een AI-gegenereerde podcast uit die citaten verzon, bronnen verkeerd toeschreef, en commentaar invoegde als het redactionele standpunt van de krant. Het kwam boven water zoals deze dingen doen, toen de Slack van de standaardenredacteur lekte (Semafor, 11 dec 2025). De technische mislukking onder de schaamte was klein en specifiek: een ontbrekende citatieverificatiestap. Ik wilde geen slimmere podcast-host bouwen. Ik wilde de stap bouwen die ontbrak.

De week waarin ik probeerde het model te laten stoppen met liegen

Ik besteedde ongeveer een week aan pogingen om de antwoordgever zelf betrouwbaar te maken, en ik wil eerlijk zijn: dat was de verkeerde week.

De redenering voelde destijds waterdicht. Als het model een citaat fabriceert, trek het model strakker aan. Betere grounding-prompts, een lagere temperature, strengere instructies om alleen opgehaalde passages te gebruiken, een zelfcontrole-pass waarin het model zijn eigen antwoord herleest en beoordeelt of elke zin ondersteund is. Ik bouwde het allemaal. Het hielp aan de randen en faalde in het centrum, omdat de mislukking die me interesseerde niet was dat het model slordig was. Het was dat het model zelfverzekerd, vloeiend fout zat in precies het register dat een copydesk vertrouwt. Het Reyes-citaat las niet als een hallucinatie. Het las als verslaggeving.

De zelfcontrole-pass was het moment waarop de aanpak voor mij stierf. Ik vroeg hetzelfde model dat het gefabriceerde citaat schreef om me te vertellen of het gefabriceerde citaat echt was, en een betekenisvol deel van de tijd zei het ja, het klopt. Natuurlijk deed het dat. Het had op dat moment geen onafhankelijke toegang tot de archieftekst. Het had zijn eigen zelfvertrouwen, en dat is precies het ene ding dat je niet kunt gebruiken om jezelf te auditen.

Ik vroeg een probabilistisch systeem om de output van een probabilistisch systeem te certificeren, en noemde het resultaat verificatie. Dat is geen verificatie. Dat zijn twee gissingen die het eens zijn.

En de inzet is niet academisch, want een uitgever krijgt niet het gebruikelijke ontsnappingsluik van het internet. Er is geen Section 230-schild voor content die je eigen systeem genereert uit je eigen archief. Op het moment dat je onder je naam een lezersvraag beantwoordt, ben jij eigenaar van het antwoord, citaat en al. Een eiser in een lasterzaak zal niet vragen hoe zelfverzekerd je model was. Ze zullen vragen of het citaat echt was en of het archief het daadwerkelijk zei. Dat zijn twee vragen, en ik had ze behandeld als één probleem voor het model om op te lossen.

De reden dat dit commercieel ertoe doet, is dat uitgevers hierin worden geduwd of ze het leuk vinden of niet. AI Overviews verschijnen nu bij 48% van de Google-zoekopdrachten (theStacc / Search Engine Land, mrt 2026). Zoekverkeer van uitgevers daalde 33% jaar-op-jaar tot november 2025, met een verdere daling van ruwweg 43% verwacht tegen 2029 (Reuters Institute Trends 2026). Toen een AI Overview boven de link verscheen, zag de Daily Mail de desktop-doorklikratio met 89% dalen. Het verkeer dat vroeger kwam van lezers die je archief vonden, verdwijnt, dus de druk om lezers je archief direct te laten vragen is enorm. De valkuil is dat het eerste eerlijke ding dat gebeurt wanneer je dat doet, het Reyes-citaat is.

Het antwoord dat een gewone widget niet kan schrijven

Ik wil eerst eerlijk zijn over de ambitie, want de reden dat een redactie dit überhaupt wil is echt, en een zoekvak kan het niet.

Stel The Standards Desk de harde, longitudinale versie van een lezersvraag, Hoe veranderde het standpunt van burgemeester Reyes over de dichtheidsverordening voor het centrum van 2014 tot 2025?, en een temporele planner breekt eerst het decennium op in vensters (2014-2017, 2018-2021, 2022-2025), haalt over elk op, en stelt een chronologisch verhaal samen. Het loopt van 2014, "I will not trade Riverbend's character for towers," naar 2025, "I'd do it again," met een inline [S#] markering op elke clausule die bij hoveren naar de echte archiefpassage erachter verwijst. Dit is het antwoord dat een vanilla vector-RAG-widget niet kan produceren, omdat het geen enkele lookup is. Het is een geplande synthese over de tijd, zin voor zin gegrond.

Die groene banner is het verleidelijke deel, en daar verloor ik bijna voor de tweede keer de draad. Wanneer de pipeline werkt, werkt hij prachtig, en een prachtige demo maakt dat je de engine wilt vertrouwen die hem produceerde. Maar de groene banner is niet het product. Het ding dat beslist of een banner groen mag zijn, is het product. Het longitudinale antwoord wordt vrijgegeven omdat elke claim gegrond was en elk citaat letterlijk gecontroleerd. Het oeverantwoord, minuten eerder door dezelfde engine geschreven, werd dat niet. Het verschil tussen beide is geen modelkwaliteit. Het is een poort.

Het citaat dat burgemeester Reyes nooit gaf

Ik kom steeds terug bij het oeverantwoord omdat dat degene is die me leerde wat ik eigenlijk aan het bouwen was.

Hier is wat de poort ermee doet, en niets daarvan is het model dat zichzelf beoordeelt. Het antwoord wordt ontleed in atomaire claims. Elke claim wordt gegrond tegen een specifieke opgehaalde passage. Elke geciteerde string wordt teken voor teken gecontroleerd tegen de brontekst die hij citeert. Bij het oeverantwoord kwam de dekking uit op 50%, één van twee claims ondersteund, en de geciteerde span, die committed-to-moving-the-parcel-regel, werd niet letterlijk gevonden in enige geciteerde bron. Een deterministische policy-poort las die feiten en routeerde het hele antwoord naar HELD FOR STANDARDS-DESK REVIEW. Het werd nooit aan een lezer getoond.

De bannertekst doet me meer dan waarschijnlijk zou moeten. Hij zegt niet "lage betrouwbaarheid" of "gelieve te beoordelen." Hij zegt aangehouden, en niet getoond aan lezers, en hij meent het, omdat de lezerswidget letterlijk nooit het achtergehouden concept ontvangt. Dat is het hele verschil tussen de Reyes-fabricatie en die van Ask The Post AI. De engine van de Post produceerde een vals citaat en een lezer hoorde het. Die van mij produceerde een even vals citaat en een lezer zal het nooit horen, omdat de fabricatie en de publicatie twee aparte gebeurtenissen zijn en ik er een muur tussen zette.

De antwoordgever confabuleerde precies zoals een onbewaakte widget zou doen. Het enige dat de uitkomst veranderde, was een controle die de antwoordgever niet vertrouwt.

Rond die tijd stopte ik met proberen het model te laten stoppen met confabuleren. Het kan, het deed, het zal. De waarde was nooit een model dat nooit liegt. Het was de leugen vangen voordat een lezer hem ziet. Dat is een kleinere, eerlijkere claim dan "onze AI hallucineert niet," en het is de enige waar ik achter wil staan, omdat ik in dezelfde sessie het model zag falen en de poort zag vasthouden.

Waarom publicatieveiligheid niet in het model kan wonen

Ik nam vroeg één architectuurbeslissing en het is degene die ik het hardst zou verdedigen: het deel dat beslist wat veilig is om te publiceren, leeft volledig buiten de taalmodellen.

Er zitten drie agents in de pipeline, en ze zijn echt nuttig. Een temporele planner, een antwoordgever, een herkomst-auditor, provider-verwisselbaar en standaard claude-opus-4-8. Zij adviseren. Maar de letterlijke-citaatregel, een exacte stringmatch van elke geciteerde span tegen zijn geciteerde bron, en de policy-poort die dekking leest en het antwoord routeert, zijn gewoon Python. Geen prompt, geen temperature, geen model-zelfrapportage. Ik zeg het constant tegen mezelf tijdens het bouwen: agents adviseren, code beslist. Als de reden dat je een controle nodig hebt is dat de output van het model niet op gezichtswaarde te vertrouwen is, kan die controle niet opnieuw iets zijn dat het model over zichzelf zegt.

Daarom is de letterlijke regel expres deterministisch. "Verscheen deze exacte geciteerde string in de passage die hij citeert" is geen oordeel. Het is rekenkunde tegen de brontekst, en hij geeft elke keer dat je hem draait hetzelfde verdict. Die reproduceerbaarheid is wat de auditreceipt iets waard maakt. Eén klik exporteert een JSON-receipt per antwoord: de query, de ontlede subvragen, de opgehaalde bronnen met data en ids, het gepubliceerde antwoord, een verdict per claim met de bewijspassage, een letterlijk resultaat per citaat, de poortbeslissing en haar reden, de engine en het model, en een UTC-tijdstempel. Je kunt hem opnieuw draaien en dezelfde receipt krijgen. Een modelgebaseerde rechter, hoe goed ook, kan je dat niet beloven, en ik heb de versie meegemaakt waarin dezelfde input me drie verschillende antwoorden gaf.

Ik wil precies zijn over wat hier echt is en wat in scène is gezet, want de eerlijkheid is het merk. Het geheel draait offline via een deterministische stub of een keyless lokale Claude-bridge, zodat de demo reproduceerbaar is. Sommige moeilijke onderdelen zijn bewust uitgesteld en ik zal niet anders pretenderen: productie-entiteitsresolutie is een vooraf opgeloste fixture, de temporele knowledge graph wordt gedemonstreerd via datum- en entiteitstags plus de planner in plaats van een live Neo4j, de CMS-sync is een Arc XP-fixture, en de kill switch steunt op een lokale vlag. Wat echt is, is het mechanisme: de grounding, de letterlijke check, de deterministische poort, en de receipt.

Wat "10 op 10" mag betekenen

Ik houd mezelf aan een regel over getallen, omdat ik het bedrijf Veriprajna noemde, ware wijsheid, en een naam als die is een permanente uitdaging om te overclaimen.

Dus hier is precies wat de benchmark zegt en precies wat hij niet zegt. Over een gelabelde eval-set van 10 queries landt elke query in zijn verwachte poort-bucket, 10 op 10. Zes van die tien werden zonder menselijke aanraking gepubliceerd: drie netjes automatisch vrijgegeven, drie gepubliceerd nadat een niet-ondersteunde zin was gesnoeid en de rest was vrijgegeven. Twee werden naar beoordeling door de Standards Desk gerouteerd, de twee citaat-val-gevallen, het veiligheidsventiel zichtbaar aan het werk. Twee waren eerlijke "buiten dekking"-onthoudingen, waarbij retrieval niets boven de scoredrempel vrijgaf en het systeem weigerde te gissen in plaats van een getal te confabuleren. Dertien unittests slagen. Het corpus is 200 synthetische artikelen van 2014 tot 2025.

Dat zijn de cijfers van de gebouwde demo op tien echt moeilijke geplante gevallen over vier buckets. Ze vormen geen open-wereld-nauwkeurigheidsgarantie, en ik zal ze niet tot één opblazen. De 60/20/20-splitsing is het resultaat van deze eval-set, geen belofte over jouw archief. De ene claim die ik botweg stel, is de deterministische, omdat het een unitgeteste invariant is in plaats van een hoop: geen enkel antwoord met een niet-verifieerbaar citaat of een niet-ondersteunde claim wordt ooit automatisch vrijgegeven. Tegen een onbewaakte vanilla vector-RAG-baseline, het soort SaaS-chatwidget dat een uitgever daadwerkelijk zou kopen, waren er vijf antwoorden die hij zou hebben gepubliceerd met een gefabriceerde span of een niet-ondersteunde claim die deze poort tegenhield. Vijf is een klein getal. Vijf foute citaten onder je merknaam is dat niet.

Een zelfverzekerd antwoord is goedkoop. Een bewijsbaar antwoord, met een receipt die je opnieuw kunt draaien en aan een advocaat kunt geven, is het hele ding waar je eigenlijk voor betaalt.

Is aanhouden niet gewoon de machine die de moeilijke keuze ontwijkt?

Ik krijg bijna in elk gesprek een versie van deze vraag, en mijn antwoord is korter en zekerder geworden.

Nee. Het antwoord aanhouden is de moeilijke keuze, eerlijk gemaakt, en een zelfverzekerde gissing uitsturen is de ontwijking. Het verleidelijke alternatief is een widget die altijd een strak, publiceerbaar antwoord teruggeeft aan elke lezer, omdat dat als demo prachtig overkomt en nooit de dag van een standaardenredacteur moeilijker maakt. Het is ook de Ask The Post AI-architectuur, en hij faalt precies zoals die faalde. Een systeem dat niet kan zeggen "ik kan dit niet verifiëren, houd het aan" is een systeem dat zekerheid fabriceert die het niet heeft. En een redactie, van alle instituties, weet dat de bereidheid om iets niet te publiceren het hele werk van een standaardenredactie is.

Daarom denk ik dat dit werk de huidige modelgeneratie overleeft. Geef alles toe wat de optimisten beloven: een groter model, schonere training, een lager fabricatiepercentage. Een perfect model dat nooit een citaat verzint, zal nog steeds vrolijk een echt citaat toeschrijven aan de verkeerde persoon of het verkeerde jaar, omdat die zin van binnenuit het concept als waar leest en precies is wat gevraagd werd. "Veilig om onder je merknaam te publiceren" is geen vermogen waarop je wacht tot het model het ontwikkelt. Het is een governance-eigenschap van het systeem dat je eromheen bouwt, en er is geen Section 230-schild dat je de dag teruggeeft waarop je het Reyes-citaat publiceert. Het ongemakkelijke gevolg waar ik steeds op uitkom, is dat de waardevolste AI die een redactie kan draaien het deel is dat bereid is te zeggen Ik kan dit niet verifiëren, houd het aan voor de Standards Desk. Als je wilt zien hoe hij beslist, de fabricatie aanhoudt, en de receipt exporteert, staat het hier: veriprajna.com/nl/demos/conversationele-ai-voor-uitgevers-the-standards-desk.

En als je liever kijkt dan mij het te horen beschrijven, hier is het hele ding van begin tot eind draaiend.

Dus de vraag die ik een uitgever zou willen nalaten, is degene die mijn hele bouw herschikte. Wanneer jouw archief een lezer in jouw naam beantwoordt, en het antwoord vloeiend en schoon is en iemand citeert, heb je dan een laag die bereid is te bewijzen dat het citaat echt was voordat de lezer het ooit ziet? Want het model zal altijd zeker klinken. De receipt is het enige dat zeker is.