Elke AI had dezelfde belastingvraag fout — en niemand merkte het totdat we de wet controleerden
Het was op een dinsdagavond, en ik staarde naar drie browsertabbladen – ChatGPT, Claude, Gemini – die me allemaal hetzelfde vertelden. Ze hadden het alle drie mis.
De vraag was eenvoudig genoeg: kan een belastingplichtige onder de nieuwe Omnibus Budget Reconciliation Act de rente op een persoonlijke autolening aftrekken? Elk model zei ja. Elk model legde de bepaling correct uit – de data, de voertuigvereisten, zelfs de inkomensgrenzen. En elk model plaatste de aftrekpost in de verkeerde sectie van de belastingwet, waardoor het daaruit voortvloeiende financiële advies waardeloos was.
Niet een klein beetje ernaast. Niet „tja, dat hangt af van de interpretatie”. Gewoon ronduit fout. Het soort fout dat, als een registeraccountant het zou opvolgen, een controle door de IRS zou ontketenen. Het soort fout dat een gepensioneerde duizenden dollars aan onverwachte Medicare-premieopslagen zou kunnen kosten. En het angstaanjagende deel? Als je het antwoord niet al wist, zou je het nooit ontdekken. De AI klonk volmaakt overtuigend.
Dat moment veranderde mijn kijk op AI in compliance. Niet omdat ik verrast was dat een taalmodel hallucineerde – we weten allemaal dat ze dat doen. Wat me schokte, was dat alle drie op exact dezelfde manier hallucineerden, om exact dezelfde reden. Ze hadden het verkeerde antwoord van het internet geleerd, en het internet zat er zo uniform naast dat er voor de modellen geen enkel signaal overbleef om zichzelf te corrigeren.
We begonnen dit fenomeen Consensus Error te noemen. En toen we het eenmaal begrepen, konden we het niet meer ontzien.
Wat is Consensus Error en waarom zou het u moeten uitmaken?
De meeste mensen die met AI werken, zijn bekend met hallucinaties – momenten waarop een model een bronvermelding verzint, een statistiek fabriceert of vol zelfvertrouwen iets beweert dat niet waar is. Die zijn verontrustend, maar ze zijn ook enigszins willekeurig. Je kunt ze vaak opmerken omdat ze vreemd aanvoelen, of omdat een snelle Google-zoekopdracht de verzinsel direct ontmaskert.
Consensus Error is anders. Het gebeurt wanneer een AI je het verkeerde antwoord geeft, niet omdat het aan data ontbreekt, maar omdat de data waarop het getraind is overweldigend en vol overtuiging onjuist is. Het model tast niet in het duister. Het spiegelt de meerderheidsmening van het internet aan je terug – en die meerderheidsmening blijkt toevallig juridisch onjuist te zijn.
Wanneer het internet zelf fout zit, erft elke daarop getrainde AI dezelfde waan. Consensus Error is geen storing – het is een eigenschap van hoe taalmodellen leren.
Denk even na over de wiskunde hierachter. Als 90% van de online artikelen over een specifieke belastingbepaling deze verkeerd beschrijft – door vereenvoudigd taalgebruik te hanteren, twee verschillende secties van de wet te verwarren of elkaars fouten klakkeloos over te nemen –, dan convergeren de interne gewichten van het model met hoge zekerheid naar het verkeerde antwoord. Zelfs als de daadwerkelijke wettekst in de trainingsdata voorkomt, verschijnt deze slechts één of twee keer in dichte juridische taal, terwijl de onjuiste interpretatie duizenden keren voorkomt in toegankelijke, SEO-geoptimaliseerde proza.
Het model doet waarvoor het is ontworpen: het meest waarschijnlijke volgende token voorspellen. En het meest waarschijnlijke token is het verkeerde.
De autoleningaftrek die drie AI's deed struikelen
Laat me u door deze specifieke casus meenemen, want de details doen ertoe.
De OBBBA creëerde een nieuwe categorie genaamd „Qualified Passenger Vehicle Loan Interest” – een tijdelijke aftrekpost voor rente betaald op leningen voor nieuwe, in de VS geassembleerde personenauto's, beschikbaar voor belastingjaren 2025 tot en met 2028. Tot zover niets aan de hand. Elke AI had dit deel goed.
Hier loopt het spaak. De aftrekpost werd toegevoegd aan IRC Section 63, die het belastbaar inkomen (Taxable Income) regelt. Het werd niet toegevoegd aan IRC Section 62, die het gecorrigeerd bruto-inkomen (Adjusted Gross Income, AGI) regelt. In het belastingrecht is dit onderscheid van doorslaggevend belang.
Een aftrekpost onder Section 62 – „above the line” – verlaagt uw AGI. Uw AGI bepaalt de geschiktheid voor tientallen andere regelingen: aflossingsplannen voor studieleningen, drempels voor de aftrek van medische kosten, de belastingheffing op socialezekerheidsuitkeringen, toeslagen op Medicare-premies. Verlaag uw AGI, en u ontgrendelt een cascade aan downstream-besparingen.
Een aftrekpost onder Section 63 – „below the line” – verlaagt uw belastbaar inkomen. Het levert u nog steeds een besparing op uw federale belastingaanslag op, maar het doet niets met uw AGI. Geen van die downstream-voordelen wordt erdoor beïnvloed.
Elk toonaangevend LLM vertelde gebruikers dat deze aftrekpost hun AGI zou verlagen. Stuk voor stuk. Omdat het financiële content-ecosysteem dat beweerde. Veelgedeelde uitlegartikelen en SEO-geoptimaliseerde stukken kopten „Autoleningrente is nu aftrekbaar!”, zonder te specificeren waar in de belastingberekening dit van toepassing was. Het onderscheid tussen Section 62 en Section 63 is blijkbaar te saai voor contentmakers die optimaliseren voor clicks.
Maar voor de belastingplichtige die dit advies opvolgt? Zijn de gevolgen reëel.
Een gepensioneerde die ten onrechte een lager AGI opgeeft, kan worden geconfronteerd met onverwachte Medicare IRMAA-opslagen. Een lener met een inkomensafhankelijk aflossingsplan voor een studielening kan het recht op lagere maandlasten verliezen. Een belastingplichtige in een staat als Arizona, die zijn inkomstenbelasting koppelt aan het federale AGI, kan een staatsaudit riskeren. Ik schreef over de volledige cascade aan financiële consequenties in de interactieve versie van ons onderzoek – de rimpeleffecten zijn ernstiger dan de meeste mensen beseffen.
Waarom loste RAG dit niet op?
Ik hoor het tegenargument al aankomen: „Gebruik gewoon RAG. Haal de daadwerkelijke wettekst op. Probleem opgelost.”
We hebben het geprobeerd. Het loste het niet op.
Retrieval-Augmented Generation – de techniek waarbij u relevante documenten samen met de vraag van de gebruiker in het contextvenster van het model plaatst – is het huidige antwoord van de industrie op hallucinaties. En voor veel toepassingen helpt het. Maar voor juridisch redeneren kent het drie structurele zwaktes die direct in onze tests naar voren kwamen.
Ten eerste leest belastingwetgeving niet als een doorlopend verhaal. De OBBBA zegt niet simpelweg „dit is een below-the-line aftrekpost”. Er staat: „Section 163(h) wordt gewijzigd door na lid (3) het volgende nieuwe lid in te voegen...”. Het model moet de logische staat van de belastingwet reconstrueren uit een reeks amendementen. Wanneer het opgehaalde tekstfragment zegt „aftrek toegestaan”, maar de positie ervan in de berekeningsstroom niet expliciet vermeldt, vult het model de leegte op met zijn trainingsbias – de blogposts.
Ten tweede vindt vector search wat vergelijkbaar is, niet wat relevant is door weglating. Een zoekopdracht over de aftrek van autoleningen haalt alinea's op over de aftrek van autoleningen. Het haalt niet de alinea in Section 62 op die AGI definieert – omdat die alinea geen autoleningen noemt. Het sluit ze simpelweg uit door ze niet te vermelden. In het recht is het ontbreken van iets op een lijst veelzeggend. In vector similarity search is afwezigheid onzichtbaar.
Ten derde – en dit is het punt dat mij 's nachts wakker houdt – lost RAG het ophalen van data op, niet het logisch redeneren. Je kunt de juiste wettekst voor het model leggen, en het zal deze nog steeds verkeerd interpreteren als zijn interne gewichten vertekend zijn door miljoenen onjuiste trainingsvoorbeelden. Het wordt een bevooroordeelde lezer, die ziet wat hij verwacht te zien in plaats van wat de tekst werkelijk zegt.
RAG legt het juiste document voor de AI. Maar een bevooroordeelde lezer met het juiste boek trekt nog steeds de verkeerde conclusie.
Na wekenlang testen van verschillende retrieval-strategieën, chunk-groottes en prompt-configuraties had mijn team een discussie die alles ophelderde. Een van onze engineers wilde de RAG-pipeline blijven verfijnen – betere embeddings, nauwkeurigere chunking, expliciete instructies om „alleen de opgehaalde tekst te gebruiken”. Onze juridisch adviseur keek hem aan en zei: „Je probeert een betere bril te maken voor iemand die niet kan rekenen.” Ze had gelijk. Het probleem was niet wat het model kon zien. Het was waarover het model kon redeneren.
Wat gebeurt er als AI de wet verkeerd leest?
De OBBBA-casus bevat ook afbouwregels (phase-outs) die het probleem verergeren. De aftrek is gemaximeerd op $ 10.000 per jaar en wordt verminderd met $ 200 voor elke $ 1.000 waarmee het inkomen van de belastingplichtige de $ 100.000 (alleenstaanden) of $ 200.000 (fiscale partners) overschrijdt. Bij respectievelijk $ 150.000 of $ 250.000 vervalt de aftrekpost volledig.
Toen we dit testten met een hypothetische belastingplichtige met een inkomen van $ 125.000, hadden de modellen grote moeite. Sommige negeerden de afbouwregeling volledig. Andere pasten een reductiecurve toe die was overgenomen van het Child Tax Credit – een volstrekt andere bepaling met een geheel andere berekening. De modellen deden aan patroonherkenning op basis van bekende structuren in plaats van de daadwerkelijke regel te berekenen.
Dit is het probleem van „rekenkundige hallucinaties” bovenop Consensus Error. Het model begrijpt niet alleen het juridische kader verkeerd – het maakt ook fouten in de wiskunde. En wanneer je deze modellen comprimeert voor efficiënte implementatie via kwantisatie, degraderen de redeneervaardigheden sneller dan de taalvaardigheden. Het model klinkt zelfverzekerder terwijl het minder accuraat wordt. Dat is in elk domein een gevaarlijke combinatie. In fiscale compliance is het een aansprakelijkheidsrisico.
Er is nog een dimensie die de meeste mensen volledig over het hoofd zien. De OBBBA creëerde ook Section 6050AA, die nieuwe rapportageverplichtingen oplegt aan kredietverstrekkers. Elk bedrijf dat $ 600 of meer aan rente ontvangt op een in aanmerking komende autolening, moet een informatieve aangifte indienen bij de IRS. Toen we de modellen vroegen wat banken en kredietunies moesten doen omtrent de nieuwe wet, richtten ze zich vrijwel uitsluitend op de aftrekpost voor de lener – omdat het content-ecosysteem daarover schreef. De complianceverplichting van de kredietverstrekker werd nauwelijks opgemerkt. Voor een fintechbedrijf dat AI inzet om regelgevingswijzigingen samen te vatten, kan die omissie leiden tot systematische non-compliance en boetes onder IRC Sections 6721 en 6722.
De architectuur die wél werkt
Na het debacle met de autolening was ik er een maand lang van overtuigd dat de gehele aanpak van het gebruik van taalmodellen voor compliance fundamenteel failliet was. Vervolgens bouwden we iets dat mijn mening veranderde – niet over LLM's, maar over hoe ze moeten worden ingezet.
Het inzicht was eenvoudig, toen we het eenmaal zagen: stop met de AI te vragen om over wetgeving te redeneren. Laat het doen waar het goed in is – taal begrijpen – en draag het redeneerwerk over aan iets dat daadwerkelijk logica kan toepassen.
Dit is het kernidee achter neuro-symbolische AI: een hybride architectuur die de linguïstische vlotheid van neurale netwerken combineert met de deterministische strengheid van symbolische logicasystemen. We hebben gebouwd wat we een deterministische belasting-engine noemen, en deze werkt in drie fasen.
De eerste fase is de Intent Parser. Dit is waar het LLM zich bevindt, en doet waar LLM's het beste in zijn. Een gebruiker uploadt een factuur, typt een vraag of koppelt een bankfeed. De neurale laag extraheert gestructureerde entiteiten: voertuigtype, aankoopdatum, leenbedrag, assemblagelocatie, inkomen van de belastingplichtige. Het beslist niets over de fiscale behandeling. Het vertaalt enkel de rommelige menselijke realiteit naar zuivere data.
De tweede fase is het Truth Anchor. Hier neemt de symbolische laag het over. We coderen het belastingwetboek – niet als tekst om te worden „gelezen”, maar als uitvoerbare logica met behulp van gespecialiseerde talen zoals Catala (ontwikkeld door INRIA voor de Franse belastingdienst) en PROLEG (een op Prolog gebaseerd juridisch redeneersysteem). De wet wordt een programma. Het Truth Anchor raadpleegt een Knowledge Graph, past de gecodeerde regels toe, controleert op ontbrekende feiten en berekent het deterministische resultaat. Als het voertuig in Mexico is geassembleerd, wordt de aftrek geweigerd. Als het inkomen de afbouwdrempel overschrijdt, wordt de verlaging tot op de cent nauwkeurig berekend. Geen waarschijnlijkheid. Geen giswerk.
De derde fase is de Response Generator. Nog een neurale laag, maar dan ingeperkt. Deze ontvangt de uitvoer van de logica-solver – „Aftrek: GEWEIGERD. Reden: Afbouwdrempel overschreden bij inkomensniveau $ 135.000” – en vertaalt deze naar heldere, voor mensen leesbare taal. Het LLM maakt het antwoord leesbaar. Het heeft nul vrijheid om het antwoord anders te maken.
We vragen de AI niet om naar de wet te raden. We leren het om de wet te berekenen. De neurale laag verzorgt de taal. De symbolische laag verzorgt de waarheid. Geen van beide probeert het werk van de ander te doen.
Deze ontkoppeling is wat Consensus Error elimineert. De neurale laag kan uit zijn training „weten” dat populaire financiële sites beweren dat autoleningrente het AGI verlaagt. Maar het wordt nooit gevraagd om die bepaling te maken. Er wordt alleen gevraagd om de voertuiggegevens te extraheren. De beslissing ligt in de symbolische laag, die geen toegang heeft tot Reddit – alleen tot de gecodeerde wettekst.
Voor de volledige technische architectuur en formele analyse, inclusief hoe Catala omgaat met default-exception-logica en hoe Answer Set Programming controleert op consistentie over een gehele belastingaangifte, hebben we een gedetailleerde research paper gepubliceerd.
Waarom doet dit ertoe buiten één enkele belastingaftrek?
Ik zal ergens eerlijk over zijn. Toen ik Consensus Error voor het eerst aan mensen begon uit te leggen, was de meest voorkomende reactie: „Oké, maar dat is één randgeval. Meestal heeft de AI het wel bij het rechte eind.”
Die reactie getuigt van een verkeerd begrip van de aard van het probleem. De OBBBA-autoleningaftrek is niet uitzonderlijk. Het is typisch. Telkens wanneer het Congres een nieuwe bepaling aanneemt, genereert het content-ecosysteem duizenden vereenvoudigde, soms onjuiste interpretaties voordat de IRS überhaupt richtlijnen publiceert. Telkens wanneer een staat ontkoppelt van de federale fiscale behandeling, loopt het internet achter. Telkens wanneer een rechterlijke uitspraak de interpretatie van een bestaande wet wijzigt, blijft de oude interpretatie nog jarenlang in de trainingsdata aanwezig.
Consensus Error is geen randgeval. Het is de standaardtoestand voor elk rechtsgebied dat complex is, recent gewijzigd is of slecht begrepen wordt door algemene contentschrijvers. Dat wil zeggen: het overgrote deel van het belastingrecht.
De bredere implicatie betreft wat we verwachten van AI in domeinen met grote belangen. Het huidige paradigma – het LLM meer context, betere prompts en grotere vensters geven – is een incrementele verbetering van een fundamenteel niet-passende architectuur. Je vraagt een patroonherkennings-engine om formeel logisch te redeneren. Soms heeft het geluk. In fiscale compliance is „soms” simpelweg niet goed genoeg.
Van Black Box naar Glass Box
Er is nog iets dat van enorm belang is voor iedereen die ooit tegenover een belastingcontroleur heeft gezeten: traceerbaarheid.
Wanneer een standaard LLM tegen een belastingplichtige zegt „ja, dat kunt u aftrekken”, en de IRS is het daar later niet mee eens, wat is dan het audittrail? Het model voorspelde dat „ja” het meest waarschijnlijke volgende token was gegeven de context. Dat is geen antwoord dat u kunt voorleggen aan een belastinginspecteur.
In onze neuro-symbolische engine genereert elke bepaling een graafpad:
Deduction_Allowed = True, omdat Loan_Date binnen het tijdsbestek 2025–2028 valt (geverifieerd), Vehicle_Type = Passenger is (geverifieerd), Assembly_Location = US is (geverifieerd), Income onder de afbouwdrempel ligt (geverifieerd), Rule_Reference = IRC § 163(h)(4) is.
Elke knoop in die keten is controleerbaar. Elk feit kan worden herleid naar een brondocument. Elke regel kan worden herleid naar een specifiek artikel in de wet. Als er iets verandert – een nieuwe IRS-uitspraak, een geamendeerde bepaling –, werkt u de Knowledge Graph en de logica-solver bij, en elke beïnvloede bepaling wordt automatisch gemarkeerd voor beoordeling.
Dit transformeert AI van iets dat u op goed geloof moet aannemen naar iets dat u op aanvraag kunt verifiëren. Mensen vragen me altijd of deze aanpak langzamer of duurder is dan simpelweg het gebruik van een LLM. Het eerlijke antwoord: het initiële coderen van de wet vergt reëel werk. Maar zodra het gecodeerd is, verloopt het uitvoeren van een bepaling vrijwel direct, en benaderen de kosten voor het controleren van 100% van de transacties de kosten van het controleren van 1%. Dat is geen marginale verbetering ten opzichte van traditionele steekproefsgewijze controles. Het is een volstrekt andere categorie van zekerheid.
De vraag die nog niemand stelt
Dit is wat mij het meeste zorgen baart: de financiële dienstverleningssector haast zich om AI-assistenten, AI-belastingconsulenten en AI-compliancemonitors uit te rollen. De marketing roept „AI-aangedreven”. De kleine lettertjes vermelden „geen belastingadvies”. En daartussenin krijgen miljoenen mensen antwoorden die gezaghebbend klinken, echte wetgeving citeren, daadwerkelijke data en dollarbedragen noemen – en de aftrekpost in de verkeerde sectie van de belastingwet plaatsen.
We leven niet in een wereld waarin AI overduidelijk fout zit en mensen dat direct doorhebben. We leven in een wereld waarin AI op subtiele wijze fout zit – op manieren die diepgaande domeinexpertise vereisen om te detecteren. Dat is gevaarlijker dan overduidelijk falen, omdat het het instinct om te dubbelchecken uitholt.
De vraag is niet of AI moet worden ingezet bij fiscale compliance. Dat moet absoluut – de complexiteit van de wetgeving heeft het menselijk vermogen om deze consistent toe te passen al lang overtroffen. De vraag is of we bereid zijn AI-systemen te bouwen die de aard respecteren van het domein waarin ze opereren. Belastingrecht is deterministisch. Het kent goede antwoorden en foute antwoorden, gedefinieerd door de wet, niet door de publieke opinie. Een architectuur die juridische waarheid behandelt als een waarschijnlijkheidsverdeling zal altijd kwetsbaar blijven voor Consensus Error, ongeacht hoe groot het model is of hoe vernuftig de prompt is.
In het belastingrecht is populariteit geen surrogaat voor waarheid. Een antwoord dat tienduizend keer op het internet wordt herhaald, is niet juister dan de wettekst die het één enkele keer tegenspreekt.
We hebben Veriprajna gebouwd omdat ik geloof dat het tijdperk van „vertrouw, maar verifieer” voor AI in compliance reeds voorbij is. De systemen die het vertrouwen van ondernemingen winnen, zullen de systemen zijn die eerst verifiëren en pas daarna spreken – de systemen waarin de logica controleerbaar is, de wiskunde deterministisch is en het vertrouwen in de AI wordt ondersteund door iets duurzamers dan tokenwaarschijnlijkheid.
De wet geeft er niets om wat het internet denkt. Uw AI zou dat ook niet moeten doen.
