Rij identieke UPS-kasten in een datacenter die tijdens de byte-blackout allemaal tegelijk overschakelen op noodstroom
Artificial IntelligenceData CentersEnergy

1.500 megawatt verdween in 82 seconden — en de netbeheerders zagen het niet aankomen

Ashutosh SinghalAshutosh Singhal16 juni 202612 min

Op 10 juli 2024 bezweek een bliksemafleider op een lijn van 230 kilovolt nabij Fairfax, Virginia. Binnen 82 seconden verdween er ongeveer 1.500 megawatt aan datacenterbelasting — in elektrische termen zo'n derde van alle huishoudens in Virginia — zomaar van het net. Netbeheerders schoten in actie om 600 megawatt aan gascentrales in Pennsylvania terug te regelen en 300 megawatt van een kernreactor af te halen, alleen maar om te voorkomen dat de frequentie zo hoog opliep dat apparatuur beschadigd zou raken.

Ik heb daarna een lange avond met de NERC-incidentanalyse-PDF doorgebracht, en wat me is bijgebleven, is wat er niet is gebeurd. Er was geen spanningsovertreding. De storing activeerde een automatische beveiligingssequentie — de lijn probeerde zich vanaf elk uiteinde drie keer opnieuw te sluiten, wat zes korte spanningsdips opleverde in die 82 seconden. Elke afzonderlijke dip bleef binnen de normale ANSI C84.1-band van plus of min 10 procent. Volgens het boekje ging er niets mis op de lijn.

Wat er wél misging, was firmware. De meeste ononderbroken stroomvoorzieningen (UPS'en) in datacenters hanteren een 'three-strike'-regel: drie spanningsverstoringen binnen één minuut en het systeem schakelt de hele faciliteit over op diesel. De hersluitsequentie bereikte die drempel bij zo'n 60 datacenters tegelijk. Het net liet de datacenters niet in de steek. De datacenters stapten van het net af, in lockstep, vanwege een telregel waarvan niemand buiten de gebouwen wist dat die bestond.

Het net bleef alle 82 seconden binnen de specificaties. De datacenters vertrokken toch.

Die gebeurtenis is de reden dat Veriprajna een datacenter-netinteractiesysteem bouwde — AI die orkestreert hoe een faciliteit reageert op netsignalen, deelneemt aan capaciteitsmarkten en haar flexibiliteit bewijst aan toezichthouders. Maar daar ben ik niet begonnen. Ik begon, zoals bijna iedereen in dit vakgebied, met het oplossen van het verkeerde probleem.

Wat had ik in eerste instantie fout?

De voor de hand liggende lezing van de byte-blackout is: 'de UPS reageerde te snel.' Ons eerste prototype was dus een slimmere reactieve laag — software die de netfrequentie en -spanning in de gaten hield en de UPS-vloot van de faciliteit zich als een goede burger liet gedragen tijdens een verstoring. Netjes loskoppelen, de transiënt overbruggen, gespreid opnieuw verbinden in plaats van allemaal tegelijk. Het demode prachtig. De frequentie wiebelt, het systeem houdt stand, iedereen knikt.

Het was ook vrijwel nutteloos, en degene die me dat deed inzien, was een energieverantwoordelijke bij een colocatieaanbieder die naar onze ride-through-functie van 30 seconden keek en vroeg wat die deed voor zijn capaciteitsrekening.

Niets. Het deed niets voor zijn capaciteitsrekening.

Want de verstoring is niet waar het geld of de regeldruk zit. Schneider Electric levert al een Fast Frequency Reserve-functie waarmee een datacenter zich tot 30 seconden kan loskoppelen om de netstabiliteit te ondersteunen. Eaton verkoopt bidirectionele UPS-systemen die precies voor deze bliksemsnelle respons zijn gebouwd. Voor die laag van het probleem zijn er leveranciers. Wat geen van hen had — wat de colo-operator werkelijk nodig had — was iets dat werkte op de tijdschaal van uren en veilingen, niet van seconden.

Een reflex van 30 seconden helpt je niet als de dreiging een prijscurve van 24 maanden is.

Het getal dat alles opnieuw ordende

De PJM-capaciteitsprijs steeg van $28.92 naar $329.17 per MW-dag, waardoor de rekening van een faciliteit van 100 MW van $1,1 miljoen naar $12 miljoen ging

Hier is het cijfer dat mijn kijk op deze hele markt opnieuw ordende. In de PJM-regio, die de Mid-Atlantic en een stuk van de Midwest beslaat, ging de capaciteitsprijs — wat je per megawatt betaalt om te garanderen dat je stroom er is wanneer het net onder druk staat — van $28.92 per megawatt-dag in 2024/25 naar $329.17 in 2026/27. Dat is een vertienvoudiging in twee veilingcycli.

Voor een faciliteit van 100 megawatt ging de jaarlijkse capaciteitsverplichting van ongeveer $1,1 miljoen naar zo'n $12 miljoen. Dat is geen duurzaamheidspostje meer. Dat is een getal dat een CFO rood omcirkelt en meeneemt naar de raad van bestuur, en datacenters weten precies waarom het gebeurde: zij veroorzaakten 63 procent van de prijsstijging in de veiling van 2025/26, wat neerkomt op $9,3 miljard die op elke tariefbetaler in de regio wordt verhaald. Vanaf juni 2026 betalen PJM-tariefbetalers samen $1,4 miljard extra per jaar, en een aanzienlijk deel daarvan komt op de rekeningen van huishoudens terecht — zo'n $18 per maand in het westen van Maryland, $16 in Ohio.

Toen ik dat eenmaal begreep, werd de politieke tegenreactie logisch. Wetgevers in Virginia besteedden de zittingsperiode van 2026 aan het debatteren over een moratorium op nieuwe datacenters en kozen uiteindelijk voor een nieuwe tariefklasse 'GS-5' voor elke belasting boven 25 megawatt, met ingang van 1 januari 2027. Dominion Energy, dat meer dan een gigawatt aan nieuwe stroomaanvragen van datacenters ontvangt elke maand tegen 70 gigawatt aan totaal ingediende vraag, gaf publiekelijk toe dat het niet kan voldoen aan wat er wordt gevraagd. Wanneer het lokale nutsbedrijf hardop zegt dat het je niet kan bedienen, is je interconnectiewachtrij geen planningsprobleem meer maar een existentieel probleem.

Het echte probleem was dus nooit 'een spanningsdip overbruggen.' Het was: kan deze faciliteit bewijzen dat ze het net helpt in plaats van schaadt — financieel, operationeel en tegenover een toezichthouder? Die herformulering is het hele bedrijf.

Waarom werkte het standaardprotocol niet gewoon?

Centrale orkestratiehub verbonden met vijf flexibiliteitshefbomen van datacenters die geen enkele leverancier coördineert

Mijn volgende aanname was dat het leidingwerk al bestond. Er is een open standaard voor — OpenADR, het Open Automated Demand Response-protocol, inmiddels in versie 3.0 met een nette REST API. Nutsbedrijven sturen demand-response-events; gebouwen reageren. We sloten het aan in de verwachting dat dit het makkelijke deel zou zijn.

Het was het deel dat me het meest heeft geleerd. OpenADR is gebouwd voor gebouwen. Het kan een faciliteit vertellen 'nu belasting afwerpen,' maar het kent geen concept dat eigen is aan een datacenter — geen eventtype voor het terugregelen van een GPU-trainingscluster, het verschuiven van een thermische koellast of het coördineren van UPS-eilandbedrijf over tenants heen. Het ergste van alles is dat het workload-blind is. Het kan een machine-learning-trainingstaak die probleemloos twee uur kan pauzeren niet onderscheiden van een live inferentieverzoek waarop een klant wacht op dit moment. Voor een datacenter is dat onderscheid alles. Stel de verkeerde workload uit en je hebt een SLA geschonden; stel de juiste uit en de klant merkt er niets van.

Dat was de doodlopende weg die naar de werkelijke architectuur wees. De flexibiliteit in een datacenter is niet één hefboom. Koeling is ruwweg 40 procent van de totale energieopname — dat is een flexibele belasting waartegen je kunt voorkoelen. De UPS en batterijen zijn een inzetbare bron. Het rekenschema zelf is flexibel als je weet welke taken uitstelbaar zijn. En boven dat alles staat de capaciteitsmarktpositie die je probeert te optimaliseren. Geen enkele leverancier die ik kon vinden, orkestreerde dit alles tegelijk. Schneider levert stroom- en koelhardware. Emerald AI doet compute plus opwekking op locatie. Niemand deed alle vijf lagen samen, en dat is precies het gat waar wij in stapten.

Het tenantprobleem waarvoor niemand bouwt

Er is een reden waarom het meeste serieuze geld in dit vakgebied ergens anders op gericht is. Emerald AI — opgericht door voormalig Department of Energy-functionaris Varun Sivaram, $68 miljoen opgehaald in 16 maanden, met NVIDIA, Eaton, GE Vernova en zelfs de durfkapitaaltak van de CIA in de cap table — is de duidelijke koploper. Hun Conductor-platform demonstreerde een stroomreductie van 25 procent, drie uur lang volgehouden tijdens een netstressgebeurtenis, gevalideerd in Nature Energy. Het is oprecht indrukwekkend werk.

Het is ook gebouwd voor single-tenant hyperscaler-AI-fabrieken — NVIDIA-GPU-clusters waar één operator elke workload beheert. Google heeft hetzelfde intern gedaan door een volle gigawatt aan demand response in zijn nutscontracten te vouwen, omdat Google eenvoudigweg kan besluiten zijn eigen machine-learning-taken te verschuiven.

De colocatie-operator die mijn eerste prototype in twijfel had getrokken, zei wat onze wig bepaalde: hij had geen controle over de workloads van zijn tenants, en onze software had stilzwijgend aangenomen dat hij die wél had.

Hij had gelijk, en het is de aanname die in bijna elk product op de markt is ingebakken. Een multi-tenant colo bezit het rekenschema niet. Ze heeft een gebouw vol klanten die van alles draaien, van bedrijfsdatabases tot AI-training tot latentiegevoelige inferentie, op een mix van NVIDIA, AMD en op maat gemaakt silicium, achter UPS-opstellingen van verschillende leveranciers die — zoals de byte-blackout bewees — spanningsverstoringen niet eens op dezelfde manier tellen. Sommige tellen per fase, sommige aggregeren. Het orkestreren van flexibiliteit in die omgeving, zonder de workloads te beheren en zonder de operator vast te zetten aan één GPU-leverancier, is een fundamenteel moeilijker en vrijwel volledig onbediend probleem. Dáár besloten wij te leven: leveranciersneutraal, multi-tenant, gebouwd voor hoe colocatie werkelijk werkt.

Iedereen bouwt het datacenter dat zijn eigen compute beheert. Bijna niemand bouwt voor de operator die dat niet doet.

Het nalevingsgat dat de blackout openliet

Het meest ongemakkelijke dat ik leerde, is dat exact dezelfde faalmodus achter juli 2024 bijna twee jaar later nog steeds wagenwijd openstaat.

NERC — het orgaan dat betrouwbaarheidsnormen vaststelt voor het Noord-Amerikaanse net — heeft een Large Loads Working Group die zich haast om de eerste normen specifiek voor datacenterbelastingen op te stellen, met een aanvankelijke deadline van eind 2026. Ze hebben een nieuwe classificatie voor belastingmodellering van datacenters geïntroduceerd, PERC1 genaamd, die nutsbedrijven zou moeten laten simuleren hoe een cluster van faciliteiten zich tijdens een storing zal gedragen. Het probleem: PERC1 heeft faciliteitsspecifieke parameters nodig — jouw feitelijke UPS-ride-through-gedrag, jouw echte tellogica — en er is geen commercieel hulpmiddel dat die gegevens uit de monitoringsystemen van een faciliteit haalt. Nutsbedrijven hebben de gegevens nodig. Datacenters kunnen ze onmogelijk produceren. Het openbaarmakingsgat dat de blackout veroorzaakte, is er structureel nog steeds.

Voor een operator is dat geen abstract normendebat. FERC's regelgevingstraject voor de interconnectie van grote belastingen (docket RM26-4-000, definitieve actie verwacht op 30 april 2026) oppert versnelde interconnectiestudies van 60 dagen voor belastingen die kunnen bewijzen dat ze flexibel zijn. In een regio waar de standaardwachtrij drie tot vijf jaar duurt, is een traject van 60 dagen het verschil tussen openen in 2026 en openen in 2030. Maar om in aanmerking te komen, heb je monitoring en verificatie nodig die je vandaag vrijwel zeker niet hebt. Flexibiliteit die je niet kunt documenteren, is flexibiliteit die niet meetelt.

Een deel van wat we bouwden, is dus helemaal niet sexy: het is de laag die het eigen gedrag van een faciliteit uitleest — UPS-drempels, ride-through-respons, belastingsamenstelling — en omzet in de artefacten waar een toezichthouder en een nutsbedrijf daadwerkelijk om vragen. De onglamoureuze waarheid is dat 'bewijs het' het hele spel wordt, en bewijs vereist instrumentatie die niemand heeft geïnstalleerd.

'Lost kernenergie dit niet gewoon op?'

Mensen stellen me voortdurend een variant van deze vraag, dus laat me de drie bezwaren rechtstreeks beantwoorden.

Het eerste is kernenergie. Meta, Microsoft en Google hebben allemaal opzichtige deals gesloten voor kleine modulaire reactoren en het herstarten van kerncentrales — Meta alleen al voor maximaal 6,6 gigawatt. Maar er is vandaag geen commerciële SMR in bedrijf in de Verenigde Staten, en de realistische opleverdata liggen rond 2028 tot 2032. Netinteractie is een dit-jaar probleem. En zelfs met een reactor naast de deur moet je nog steeds de overgang beheren, overtollige opwekking terugverkopen en de jaren tot die live is uitzitten.

Het tweede is: 'is dit niet gewoon demand response, dat nutsbedrijven al decennialang uitvoeren?' Traditionele demand response is handmatig, via het nutsbedrijf bemiddeld en bot — belasting afwerpen, betaald krijgen. Wat is veranderd, is de prijs en de precisie. Bij ruwweg $120.000 per megawattjaar aan capaciteitswaarde kijkt een faciliteit van 100 megawatt die zelfs maar 20 procent flexibiliteit biedt naar zo'n $2,4 miljoen per jaar, en een faciliteit die zich zo inricht dat ze de capaciteitsverplichting volledig vermijdt, kan naar de volle ~$12 miljoen kijken. Getallen van die omvang rechtvaardigen geautomatiseerde, workload-bewuste optimalisatie die de oude programma's nooit nodig hadden.

Het derde is: 'waarom koop je de hardware niet gewoon bij Schneider of Eaton?' Dat zou je moeten doen — ze maken uitstekende apparatuur. Maar hardware is het lichaam; de orkestratie is het zenuwstelsel, en dat is waarom Eaton in Emerald AI investeerde in plaats van de software zelf te bouwen. De beslissingslaag die netsignalen, marktprijzen, thermische speelruimte en uitstelbare compute allemaal tegelijk in de gaten houdt en er gecoördineerd naar handelt, is een vak apart. Dat is het deel dat wij bouwen, en we bouwen het zo dat het bovenop welke hardware je ook al bezit kan draaien.

De troef aan de andere kant van de last

Veriprajna's datacenter-netinteractiesysteem bestaat vanwege een overtuiging die ik niet had toen ik begon. Ik ben er nu van overtuigd dat de operators die de komende jaren overleven niet degenen zijn die het goedkoopste stroomcontract vastleggen. Het zijn degenen die een nutsbedrijf een geverifieerd flexibiliteitsprofiel kunnen overhandigen en een toezichthouder een gedocumenteerd ride-through-gedrag — en daar een snellere interconnectie en een lagere capaciteitsrekening voor krijgen.

De byte-blackout was een bijna-ongeluk. Zo'n 60 faciliteiten stapten van het net af vanwege een telregel, en het systeem ving het op — ternauwernood, door in twee staten energiecentrales offline te rukken. PJM verwacht tot in de zomer van 2026 met een minimale betrouwbaarheidsmarge te opereren en zakt mogelijk in juni 2027 onder zijn normen. De volgende gebeurtenis zal niet dezelfde speling hebben om haar op te vangen.

Een datacenter kan de grootste, meest bestuurbare en meest waardevolle flexibele belasting op het hele net zijn. Elke megawatt die in 82 seconden van de lijn af liep, had in plaats daarvan een megawatt kunnen zijn die ervoor koos om terug te treden, op een signaal, en daarvoor betaald kreeg. Dat is het hele verschil tussen een last en een troef — en op dit moment komt het erop neer of het gebouw zelf op tijd kan beslissen, met bewijs. Die beslissing is software. Wij besloten die te schrijven.

Gerelateerd onderzoek

Ook gepubliceerd op

Bouw uw AI met vertrouwen.

Werk samen met een team met diepgaande ervaring in het bouwen van de volgende generatie enterprise-AI. Laat ons u helpen bij het ontwerpen, bouwen en implementeren van een AI-strategie waarop u kunt vertrouwen.

Veriprajna Deep Tech-adviesbureau is gespecialiseerd in het bouwen van veiligheidskritische AI-systemen voor de gezondheidszorg, de financiële sector en gereguleerde domeinen. Onze architecturen worden gevalideerd aan de hand van gevestigde protocollen met uitgebreide compliancedocumentatie.