De nacht dat 60 datacenters van het net verdwenen — en wat het mij leerde over de grenzen van AI

Ik was aan de telefoon met een directeur van een nutsbedrijf toen hij iets zei waardoor ik verstijfde.

"Het net verloor die nacht geen stroom. Het verloor vraag. En niemand had daar een draaiboek voor."

Hij had het over 10 juli 2024 — de avond waarop één enkele blikseminslag in Fairfax, Virginia de gelijktijdige ontkoppeling van 60 datacenters veroorzaakte, waardoor 1,500 megawatt aan elektriciteitsvraag in minder dan twee minuten verdampte. Dat is ongeveer het volledige stroomverbruik van Boston, verdwenen in de tijd die je nodig hebt om je tanden te poetsen. De North American Electric Reliability Corporation — NERC, het federale orgaan dat voor 400 miljoen mensen de lichten aan houdt — noemde het later een "vijf-alarm-brand voor de betrouwbaarheid."

En ik weet nog dat ik daar zat te denken: dit is de gebeurtenis waarvoor ik heb gewaarschuwd. Geen opwekkingsstoring. Geen cyberaanval. Een cascade van geautomatiseerde beveiligingslogica, waarbij elk systeem precies deed wat het opgedragen kreeg, en die samen een uitkomst voortbracht die niemand had ontworpen. Het net brak niet doordat er iets misging. Het brak, want alles ging goed — op het verkeerde moment, in de verkeerde volgorde, op een schaal die niemand had gemodelleerd.

Dit is het verhaal van wat er die nacht werkelijk gebeurde, waarom de huidige golf van AI-"oplossingen" het erger zou hebben gemaakt, en wat mijn team bij Veriprajna in plaats daarvan aan het bouwen is.

Wat gebeurt er als de bliksem inslaat in de internethoofdstad van de wereld?

Noord-Virginia verwerkt 70% van het wereldwijde internetverkeer. Het is geen metafoor om het de ruggengraat van de digitale economie te noemen — dat is het letterlijk. En op die avond in juli begaf een bliksemafleider het op de Ox-Possum-transmissielijn van 230 kilovolt van Dominion Energy, waardoor een permanente storing ontstond.

Hier wordt het interessant. De beveiligingssystemen van het net deden hun werk. Ze probeerden de lijn automatisch opnieuw in te schakelen — een standaardprocedure, zoals het terugzetten van een stroomonderbreker om te kijken of de storing verdwenen is. Het systeem probeerde het zes keer in 82 seconden, drie pogingen vanaf elk uiteinde van de lijn. Elke poging veroorzaakte een korte spanningsdip.

Geen van deze dips was op zichzelf gevaarlijk. Elke bleef binnen de marge van ±10% die netstandaarden als normaal beschouwen. Maar de Uninterruptible Power Supply-systemen in die datacenters waren aan het tellen. Ze zijn geprogrammeerd met een eenvoudige regel: als je binnen een minuut drie spanningsverstoringen ziet, ga er dan van uit dat het net het begeeft en schakel over op dieselnoodaggregaten. Bescherm de servers koste wat kost.

Dus telden de UPS-systemen tot drie, en 60 faciliteiten zeiden tegelijkertijd: wij haken af.

Een routinestoring op één enkele transmissielijn deed 1,500 MW aan belasting in minder dan 82 seconden verdwijnen — vijftig keer sneller dan een typische uitval van een energiecentrale.

De netbeheerders bij PJM Interconnection, dat elektriciteit beheert voor 65 miljoen mensen in 13 staten, hadden plotseling een enorm overschot aan opwekking. De frequentie schoot omhoog naar 60.047 Hz. Bij een normale storing daalt de frequentie omdat je een generator bent kwijtgeraakt. Hier steeg ze juist, omdat de generatoren nog draaiden maar de belasting was verdwenen. De operators moesten in allerijl het tegenovergestelde doen van waarvoor ze zijn opgeleid — ze schroefden handmatig 600 MW terug van gascentrales in Pennsylvania en 300 MW van een kerncentraleblok in Virginia, alleen maar om te voorkomen dat het systeem de transformatoren zou overbelasten.

En de datacenters? Die draaiden urenlang op diesel. De overgang naar noodstroom ging automatisch. De terugkeer naar het net niet. Die vereiste handmatig ingrijpen, faciliteit voor faciliteit, waarbij duizenden gallons diesel werden verstookt terwijl technici de heraansluiting coördineerden.

Ik blijf terugkomen op het absurde ervan. De meest geavanceerde computerinfrastructuur op aarde, die de modellen huisvest die zogenaamd elke sector gaan transformeren, werd offline gehaald door een telalgoritme dat geen onderscheid kon maken tussen "zes dips door één storing" en "zes afzonderlijke noodgevallen."

Waarom ik wist dat het "gebruik gewoon GPT"-kamp de plank zou misslaan

Ongeveer een week nadat het incident de vakpers had bereikt, kreeg ik een e-mail van een investeerder die ons werk volgde. Zijn suggestie, geparafraseerd: "Zou je niet gewoon een LLM kunnen fine-tunen op netdata en het deze cascades laten voorspellen?"

Ik schreef drie verschillende antwoorden voordat ik voor de beleefde versie koos. Maar dit is wat ik wilde zeggen:

Nee. En het feit dat je het vraagt, laat me precies zien hoe diep het misverstand zit.

Large Language Models zijn probabilistische machines. Ze voorspellen het volgende waarschijnlijke token in een reeks. Ze optimaliseren voor plausibiliteit — wat juist klinkt — niet waarachtigheid — wat juist is. Dit onderscheid is academisch wanneer je marketingteksten genereert. Het is catastrofaal wanneer je een systeem beheert waarin de frequentie binnen 0.036 Hz van haar streefwaarde moet blijven, anders raken transformatoren oververhit.

Mijn team en ik brachten na het incident in Virginia weken door met het bestuderen van de faalketen, en we kwamen keer op keer tot dezelfde conclusie: de dominante benadering van AI in kritieke infrastructuur — wat ik de "wrapper"-architectuur noem, waarbij je een dunne softwarelaag over GPT-4 of Claude drapeert en het een oplossing noemt — zou hier nutteloos zijn geweest. Mogelijk erger dan nutteloos.

Denk eens aan wat een standaard Retrieval-Augmented Generation-systeem met netdata zou doen. Het behandelt alles als tekstsegmenten. Het zou een document over de Ox-Possum-lijn kunnen ophalen en een ander over UPS-ride-through-standaarden, maar het heeft geen enkel besef dat een spanningsdip bij onderstation A zich in milliseconden elektromagnetisch voortplant naar onderstation B. Het kan niet redeneren over de wetten van Kirchhoff. Het weet niet wat een swing-vergelijking is. Het zou een zelfverzekerd, netjes opgemaakt antwoord genereren dat fysiek onmogelijk zou kunnen zijn.

We zagen dit patroon zich in een ander domein voltrekken. In 2023 zette Sports Illustrated een wrapper-architectuur in die complete journalistenpersona's en artikelen genereerde — plausibel, gepolijst en volledig verzonnen. Het aandeel daalde 27%. Voor een mediabedrijf is dat een schandaal. Voor een netbeheerder crasht de equivalente "hallucinatie" in een load-balancing-algoritme geen aandelenkoers. Het crasht een stroomnet.

Ik heb uitgebreid over deze faalmodus geschreven in onze interactieve analyse van de verstoring in Virginia, waarin we de volledige cascade in kaart brengen, van blikseminslag tot dieselgeneratoren.

De discussie die veranderde hoe wij bouwen

Er was een moment — ik denk dat het eind augustus 2024 was, misschien drie weken nadat we met onze diepgaande analyse waren begonnen — waarop twee van mijn engineers een echte discussie kregen over architectuur. De een wilde een puur neurale aanpak bouwen: een enorm model trainen op historische nettelemetrie en het de fysica impliciet laten leren. De ander hield vol dat impliciet leren niet genoeg was, dat je de fysica direct moest encoderen in de verliesfunctie van het model.

Ik liet ze bijna een uur discussiëren. Niet omdat ik geen mening had, maar omdat de discussie zelf iets kristalliseerde waar ik al maandenlang omheen cirkelde.

De voorstander van puur neuraal haalde resultaten aan van een standaard deep-learning-model toegepast op AC Optimal Power Flow — het kernoptimalisatieprobleem dat bepaalt hoe stroom door een net beweegt. Het model was snel: 52.6 milliseconden voor inferentie. Maar toen we het aan een stresstest onderwierpen met scenario's die op de gebeurtenis in Virginia leken — plotselinge, enorme belastingsafnames — produceerde het toestanden die basale vermogensstroomvergelijkingen schonden. Het "hallucineerde" nettoestanden die fysiek niet konden bestaan. Een spanning op een knooppunt waarvoor stroom in een richting zou moeten vloeien die door de netwerktopologie verboden is.

De voorstander van fysica-eerst liet vervolgens zien wat er gebeurt wanneer je de residuen van de bepalende partiële differentiaalvergelijkingen direct in de verliesfunctie van het neurale netwerk inbedt. Dit is wat een Physics-Informed Neural Network, of PINN, wordt genoemd. Het model leert niet alleen patronen uit data; het leert patronen die begrensd worden door de wetten van het elektromagnetisme. Elke voorspelling die het doet, moet consistent zijn met de wetten van Kirchhoff en de swing-vergelijking voor frequentiestabiliteit.

De resultaten waren opvallend: 0.64 MW afwijking van de grondwaarheid tegenover 0.73 MW voor het onbegrensde model, met inferentietijden onder 50 milliseconden. Belangrijker nog, het fysiek begrensde model behield de haalbaarheid onder extreme scenario's. Het kon geen onmogelijke nettoestanden hallucineren, omdat de fysica dat niet toeliet.

Wanneer de verliesfunctie van je AI de wetten van de fysica bevat, is hallucinatie niet alleen onwaarschijnlijk — ze wordt wiskundig bestraft.

Die discussie eindigde met beide engineers aan dezelfde kant. En ze werd de basis van wat we nu bij Veriprajna bouwen.

Hoe maak je AI die niet kan liegen over fysica?

De architectuur die we ontwikkelden heeft een structuur die ik soms omschrijf als een "sandwich" — al doet dat de precisie ervan tekort.

De bovenste laag is neuraal. Die verzorgt de waarneming: het lezen van ongestructureerde data, het extraheren van intentie, het herkennen van entiteiten. Als een aanvraag voor de aansluiting van een grote belasting binnenkomt als een PDF-dossier van 200 pagina's, ontleedt deze laag het tot gestructureerde parameters. Daar is ze goed in. LLM's zijn werkelijk uitstekend in waarnemingstaken.

De middelste laag is symbolisch. Hier vindt het eigenlijke redeneren plaats, en dat is volledig deterministisch. Knowledge Graphs slaan de relaties op tussen onderstations, transmissielijnen, datacentercontracten en NERC-compliancestandaarden. Hardgecodeerde bedrijfsregels — die wij Policy-as-Code noemen — valideren elke geëxtraheerde parameter aan de hand van netfysica en regelgevingseisen. Geen enkele hoeveelheid prompt engineering kan deze laag omzeilen. Als een voorgestelde belastingsstijging de N-1-contingentierestrictie schendt die is gedefinieerd in NERC TPL-001, geeft het systeem een waarschuwing. Punt. Er is geen "temperature"-instelling die het creatiever maakt over veiligheid.

De onderste laag is weer neuraal. Die neemt het gevalideerde besluit van de symbolische laag en vertaalt het naar natuurlijke taal of machinebesturingssignalen. Het is een communicator, geen denker.

Dit is wat ik bedoel met een "Glass Box"-aanpak. Elk besluit heeft een bronnenketen. In plaats van een black box die zegt "vertrouw me, ik ben AI," zegt ons systeem: "Ik heb dit gemarkeerd omdat de voorgestelde stijgsnelheid de drempel overschrijdt die is gedefinieerd in Sectie 4.2 van de aansluitovereenkomst, gekruisverwezen met realtime telemetrie uit PMU-data bij Onderstation 7."

Mensen brengen hier altijd tegenin: "Is de symbolische laag niet gewoon regels? Bouw je niet gewoon een expertsysteem met extra stappen?" Nee. De neurale lagen verzorgen de delen die regels niet aankunnen — waarneming van ongestructureerde data, patroonherkenning over duizenden variabelen, realtime anomaliedetectie in ruizige sensorstromen. De symbolische laag verzorgt de delen die neurale netwerken niet aankunnen — gegarandeerde compliance, fysieke haalbaarheid, auditeerbaarheid. Geen van beide is op zichzelf voldoende. Samen dekken ze elkaars blinde vlekken af.

Wat heeft het stroomnet op dit moment werkelijk nodig?

De reactie van NERC op het incident in Virginia was snel en, alle lof daarvoor, inhoudelijk. Ze richtten in augustus 2024 de Large Loads Task Force op en gaven in september een Level 2 Industry Recommendation Alert uit, waarin nutsbedrijven werden aangespoord om ingrijpend te herzien hoe ze grote belastingen modelleren, monitoren en ermee communiceren.

Het kernprobleem dat NERC identificeerde, is wat ik zou omschrijven als onzichtbaarheid. Netbeheerders konden niet in die 60 datacenters kijken. Ze hadden geen realtime telemetrie over de tellogica van de UPS'en, geen zicht op wanneer faciliteiten hun ontkoppelingsdrempels naderden. De datacenters waren black boxes die gigawatts onttrokken aan een systeem dat ze behandelde als veel te grote huizen.

Eén technische ontwikkeling die me oprecht hoop geeft, is het PERC1-model — Power Electronic Ceasing and Reconnecting. Traditionele belastingsmodellen waren ontworpen voor motoren en verwarmingselementen, apparaten die tijdens een storing geleidelijk vertragen. Datacenters vertragen niet. Ze staken hun verbruik volledig, in milliseconden, via vermogenselektronische schakeling. PERC1 is het eerste model dat specifiek is ontworpen om dit gedrag weer te geven, en het is cruciaal voor elke simulatie die wil voorspellen wat er werkelijk gebeurt tijdens gebeurtenissen zoals 10 juli.

Maar modellen alleen zijn niet genoeg. Datacenters moeten actieve deelnemers in netstabiliteit worden, niet passieve consumenten die zich ontkoppelen zodra het ongemakkelijk wordt.

Dit is waar OpenADR 3.0 — de gemoderniseerde standaard voor geautomatiseerde demand response — essentieel wordt. De oudere versie gebruikte omslachtige XML-berichten met responstijden van minder dan een minuut. Versie 3.0 gebruikt RESTful API's en JSON met een latentie van minder dan een seconde. Dat is het verschil tussen "verminder alsjeblieft ergens in de komende 60 seconden de belasting" en "verplaats nu 50 MW aan batchverwerking naar je faciliteit in Oregon."

Als datacenters tijdens piekperioden slechts 0.5% van hun jaarlijkse elektriciteitsverbruik zouden terugschroeven, zou er 100 GW aan nieuwe capaciteit op het net kunnen worden aangesloten zonder ook maar één nieuwe gascentrale te bouwen.

Het DCFlex-initiatief van EPRI werft nu al datacenters voor vrijwillige demand-response-programma's die op deze premisse zijn gebouwd. De rekensom is overtuigend, maar de uitvoering vereist AI die computationele werklasten dynamisch tussen geografische regio's kan verschuiven, met inachtneming van zowel netbeperkingen als service-level agreements. Die orkestratielaag — snel genoeg voor een respons onder een seconde, slim genoeg om de fysica te respecteren, controleerbaar genoeg voor toezichthouders — is precies wat onze PINN-gebaseerde architectuur beoogt te leveren.

Voor de volledige technische uiteenzetting van hoe we PINN's integreren met de neuro-symbolische stack, zie ons onderzoekspaper over de verstoring in Virginia.

Waarom Virginia's probleem ieders probleem is

Ik moet het hebben over de menselijke kosten, want de technische gemeenschap heeft de neiging om netstabiliteit in abstracte termen te bespreken.

De datacentercapaciteit van Dominion Energy zal naar verwachting groeien van 4 GW nu tot bijna 40 GW aan gecontracteerde capaciteit. Virginia heeft de afgelopen tien jaar $2.7 miljard aan subsidies gegeven aan datacenterexploitanten. De staat heeft $28.3 miljard aan nieuwe transmissie-infrastructuur nodig en 40% meer transmissiecapaciteit om de verwachte belasting aan te kunnen — een uitbouwtempo dat de eigen Joint Legislative Audit and Review Commission van de staat "zeer moeilijk te realiseren" noemt.

Ondertussen zijn de regionale capaciteitsprijzen met 833% omhooggeschoten. De elektriciteitsrekeningen van huishoudens zullen naar verwachting tegen 2045 oplopen tot $380 per maand. Datacenters in Noord-Virginia verbruikten in 2023 bijna 2 miljard gallons water voor koeling — genoeg om 50,000 mensen van water te voorzien — en steunen op bijna 9,000 dieselnoodaggregaten die, zoals 10 juli bewees, niet alleen noodvoorzieningen zijn maar een kernonderdeel van de operationele strategie.

Het Department of Energy voorspelt dat zonder ingrijpende maatregelen de stroomstoringen kunnen toenemen van 2.4 uur per jaar nu tot ruim 430 uur tegen 2030.

Ik ben niet tegen datacenters. Mijn bedrijf bestaat dankzij de computationele infrastructuur die deze faciliteiten leveren. Maar ik ben fel gekant tegen het idee dat we AI-rekenkracht kunnen blijven opschalen terwijl we het net behandelen als een oneindige hulpbron en AI zelf als een magische tekstdoos die het op de een of andere manier wel zal oplossen.

Het inzicht om 2 uur 's nachts

Er was een nacht — ik denk begin september, midden in onze analyse — waarop ik de frequentiegegevens van PJM van de gebeurtenis op 10 juli doornam. Ik had waarschijnlijk voor de honderdste keer naar de piek van 60.047 Hz zitten staren. En er viel iets op zijn plaats dat ik nog niet eerder onder woorden had gebracht.

De UPS-systemen van de datacenters deden precies waarvoor ze waren ontworpen. Het automatisch herinschakelen van het net deed precies waarvoor het was ontworpen. De operators van PJM deden precies waarvoor ze waren opgeleid. Elke afzonderlijke actor gedroeg zich correct. De catastrofe ontstond uit de interactie — uit de kloof tussen systemen die nooit waren ontworpen om met elkaar te praten.

Dit is dezelfde faalmodus die ik overal in enterprise-AI-implementaties zie. De LLM doet waarvoor hij is ontworpen — plausibele tekst genereren. Het retrieval-systeem doet waarvoor het is ontworpen — relevante documenten vinden. De gebruikersinterface doet waarvoor die is ontworpen — resultaten netjes presenteren. En het geheel produceert een zelfverzekerd, goed onderbouwd antwoord dat fysiek onmogelijk, juridisch onjuist of financieel rampzalig is, omdat geen enkele laag verantwoordelijk is voor grondwaarheid.

Dat is het probleem dat we oplossen. Niet een betere chatbot bouwen. Niet een slimmere prompt om GPT heen wikkelen. Architecturen bouwen waarin waarheid structureel is — waarin de fysica niet door waarschijnlijkheid kan worden overschreven, waarin de logica niet kan worden gehallucineerd, waarin elke output een bronnenketen heeft die een toezichthouder, een ingenieur of een rechter kan volgen van conclusie terug naar bewijs.

De blackout in Virginia werd niet veroorzaakt door een systeem dat faalde. Ze werd veroorzaakt door systemen die onafhankelijk van elkaar slaagden, op manieren die een collectieve catastrofe opleverden. Dat is dezelfde faalmodus die op de loer ligt in elke AI-wrapper die vandaag de dag in kritieke infrastructuur wordt ingezet.

Waar dit vanaf hier naartoe gaat

Ik zal er eerlijk over zijn wat er volgens mij aankomt.

Het tijdperk van de LLM-wrapper is voorbij voor alles wat ertoe doet. Voor het genereren van blogposts en het samenvatten van vergaderingen, prima — wrappers zullen blijven bestaan en verbeteren. Maar voor systemen waarin verkeerde antwoorden fysieke gevolgen hebben — stroomnetten, financiële compliance, medische apparatuur, constructieve techniek — zal de sector zich splitsen. Het ene pad leidt naar steeds ingewikkeldere promptketens die om probabilistische modellen heen zijn gewikkeld, met "guardrails" die zelf ook probabilistisch zijn. Het andere leidt naar hybride architecturen waarin neurale waarneming deterministisch redeneren voedt, begrensd door de werkelijke wetten die het domein beheersen.

Ik weet op welk pad ik bouw. Het net in Virginia had geen welsprekendere AI nodig. Het had een AI nodig die op het niveau van differentiaalvergelijkingen begreep wat er gebeurt wanneer 1,500 MW aan belasting in 82 seconden verdwijnt. Het had een AI nodig die de tellogica in die UPS-systemen kon zien aftikken richting ontkoppeling en kon ingrijpen — niet met een suggestie, maar met een fysisch geverifieerd besturingssignaal dat in minder dan een milliseconde wordt verstuurd.

Betrouwbaarheid van stroomvoorziening is nu een variabele op bestuursniveau. De volgende keer dat het net in Noord-Virginia knippert — en dat zal gebeuren, want de belasting groeit tien keer sneller dan de transmissiecapaciteit — zal de vraag niet zijn of AI erbij betrokken was. Ze zal zijn of de AI de fysica begreep, of gewoon het volgende token voorspelde.