La notte in cui 60 data center sparirono dalla rete — e cosa mi ha insegnato sui limiti dell'IA

Ero al telefono con un dirigente di una società di servizi elettrici quando disse una cosa che mi gelò.

"Quella notte la rete non perse energia. Perse domanda. E nessuno aveva un piano per questo."

Parlava del 10 luglio 2024 — la sera in cui un singolo fulmine a Fairfax, in Virginia, provocò la disconnessione simultanea di 60 data center, vaporizzando 1,500 megawatt di domanda elettrica in meno di due minuti. Corrisponde più o meno all'intero consumo energetico di Boston, svanito nel tempo che serve a lavarsi i denti. La North American Electric Reliability Corporation — NERC, l'ente federale che tiene accese le luci per 400 milioni di persone — lo definì in seguito un "incendio a cinque allarmi per l'affidabilità."

E ricordo di essere rimasto lì seduto a pensare: è questo l'evento contro cui avvertivo da tempo. Non un guasto di generazione. Non un attacco informatico. Una cascata di logiche di protezione automatizzate, ogni sistema che faceva esattamente ciò che gli era stato ordinato, producendo collettivamente un esito che nessuno aveva progettato. La rete non si guastò perché qualcosa andò storto. Si guastò perché tutto andò per il verso giusto — nel momento sbagliato, nella sequenza sbagliata, a una scala che nessuno aveva modellato.

Questa è la storia di ciò che accadde davvero quella notte, del perché l'attuale ondata di "soluzioni" di IA avrebbe peggiorato le cose, e di ciò che il mio team di Veriprajna sta costruendo invece.

Cosa succede quando un fulmine colpisce la capitale mondiale di Internet?

La Virginia settentrionale instrada il 70% del traffico Internet globale. Non è una metafora definirla la spina dorsale dell'economia digitale — lo è letteralmente. E quella sera di luglio, uno scaricatore di sovratensione si guastò sulla linea di trasmissione Ox-Possum da 230 kilovolt di Dominion Energy, creando un guasto permanente.

Qui la cosa si fa interessante. I sistemi di protezione della rete fecero il loro lavoro. Tentarono di richiudere automaticamente la linea — una procedura standard, come riarmare un interruttore per vedere se il guasto si risolve. Il sistema provò sei volte in 82 secondi, tre tentativi da ciascun capo della linea. Ogni tentativo causò un breve calo di tensione.

Nessuno di questi cali era pericoloso di per sé. Ognuno rimase entro l'intervallo di ±10% che gli standard di rete considerano normale. Ma i sistemi di continuità (Uninterruptible Power Supply) all'interno di quei data center stavano contando. Sono programmati con una regola semplice: se rilevi tre disturbi di tensione entro un minuto, presumi che la rete stia cedendo e passa ai generatori diesel di emergenza. Proteggi i server a ogni costo.

Così i sistemi UPS contarono fino a tre, e 60 strutture dissero simultaneamente: ci tiriamo fuori.

Un guasto ordinario su una singola linea di trasmissione fece svanire 1,500 MW di carico in meno di 82 secondi — cinquanta volte più veloce del tipico guasto di una centrale elettrica.

Gli operatori di rete di PJM Interconnection, che gestisce l'elettricità per 65 milioni di persone in 13 stati, si ritrovarono improvvisamente con un enorme surplus di generazione. La frequenza salì bruscamente a 60.047 Hz. In un normale blackout, la frequenza cala perché si è perso un generatore. Qui, invece, impennò perché i generatori continuavano a girare ma il carico era sparito. Gli operatori dovettero affrettarsi a fare l'opposto di ciò per cui sono addestrati — ridussero manualmente 600 MW dalle centrali a gas in Pennsylvania e 300 MW da un'unità nucleare in Virginia solo per evitare che il sistema sovraccaricasse i trasformatori.

E i data center? Rimasero alimentati a diesel per ore. La transizione al backup fu automatica. Il ritorno alla rete no. Richiese un intervento manuale, struttura per struttura, bruciando migliaia di galloni di diesel mentre i tecnici coordinavano la riconnessione.

Continuo a tornare sull'assurdità della cosa. L'infrastruttura di calcolo più sofisticata della Terra, che ospita i modelli che dovrebbero trasformare ogni settore, è stata messa offline da un algoritmo di conteggio incapace di distinguere tra "sei cali da un unico guasto" e "sei emergenze distinte."

Perché sapevo che la fazione del "basta usare GPT" avrebbe sbagliato tutto

Circa una settimana dopo che l'incidente finì sulla stampa di settore, ricevetti un'email da un investitore che seguiva il nostro lavoro. Il suo suggerimento, parafrasato: "Non potreste semplicemente affinare un LLM sui dati di rete e fargli prevedere queste cascate?"

Buttai giù tre risposte diverse prima di optare per la versione educata. Ma ecco cosa avrei voluto dire:

No. E il fatto stesso che tu lo chieda mi dice esattamente quanto sia profondo il fraintendimento.

I Large Language Model sono motori probabilistici. Prevedono il token successivo più probabile in una sequenza. Ottimizzano per la plausibilità — ciò che suona giusto — non la veridicità — ciò che è giusto. Questa distinzione è accademica quando si genera testo di marketing. È catastrofica quando si gestisce un sistema in cui la frequenza deve restare entro 0.036 Hz dal suo valore obiettivo, altrimenti i trasformatori iniziano a surriscaldarsi.

Io e il mio team passammo settimane, dopo l'incidente della Virginia, a studiare la catena di guasti, e arrivavamo sempre alla stessa conclusione: l'approccio dominante all'IA nelle infrastrutture critiche — quello che io chiamo l'architettura "wrapper", in cui si stende un sottile strato di software sopra GPT-4 o Claude e lo si chiama soluzione — sarebbe stato inutile qui. Forse peggio che inutile.

Pensa a cosa farebbe un sistema standard di Retrieval-Augmented Generation con i dati di rete. Tratta tutto come segmenti di testo. Potrebbe recuperare un documento sulla linea Ox-Possum e un altro sugli standard di ride-through degli UPS, ma non ha alcuna nozione del fatto che un calo di tensione alla sottostazione A si propaghi elettromagneticamente alla sottostazione B in millisecondi. Non sa ragionare sulle leggi di Kirchhoff. Non sa cosa sia un'equazione di swing. Genererebbe una risposta sicura di sé e ben formattata che potrebbe essere fisicamente impossibile.

Abbiamo visto questo schema manifestarsi in un ambito diverso. Nel 2023, Sports Illustrated adottò un'architettura wrapper che generò intere identità di giornalisti e articoli — plausibili, curati e completamente inventati. Il titolo in borsa crollò del 27%. Per un'azienda editoriale, è uno scandalo. Per un operatore di rete, l'"allucinazione" equivalente in un algoritmo di bilanciamento del carico non fa crollare il prezzo di un'azione. Fa crollare una rete elettrica.

Ho scritto ampiamente di questa modalità di guasto nella nostra analisi interattiva del disturbo della Virginia, dove mappiamo l'intera cascata dal fulmine ai generatori diesel.

La discussione che cambiò il nostro modo di costruire

Ci fu un momento — credo fosse fine agosto 2024, forse tre settimane dopo che avevamo avviato la nostra analisi approfondita — in cui due dei miei ingegneri si lanciarono in una vera e propria discussione sull'architettura. Uno voleva costruire un approccio puramente neurale: addestrare un modello enorme sulla telemetria storica della rete e lasciargli apprendere la fisica implicitamente. L'altro insisteva che l'apprendimento implicito non bastasse, che si dovesse codificare la fisica direttamente nella funzione di perdita del modello.

Li lasciai discutere per quasi un'ora. Non perché non avessi un'opinione, ma perché la discussione stessa cristallizzava qualcosa attorno a cui giravo da mesi.

Il sostenitore del solo neurale mostrò i risultati di un modello standard di deep learning applicato all'AC Optimal Power Flow — il problema di ottimizzazione centrale che determina come l'energia si muove attraverso una rete. Il modello era veloce: 52.6 millisecondi per l'inferenza. Ma quando lo sottoponemmo a stress test contro scenari simili all'evento della Virginia — cali di carico improvvisi e massicci — produsse stati che violavano le equazioni fondamentali del flusso di potenza. "Allucinava" stati di rete che non potevano esistere fisicamente. Una tensione su un nodo che avrebbe richiesto a una corrente di fluire in una direzione vietata dalla topologia della rete.

Il sostenitore della fisica prima di tutto mostrò poi cosa succede quando si incorporano i residui delle equazioni differenziali alle derivate parziali che governano il sistema direttamente nella funzione di perdita della rete neurale. È ciò che si chiama Physics-Informed Neural Network, o PINN. Il modello non si limita ad apprendere schemi dai dati; apprende schemi vincolati dalle leggi dell'elettromagnetismo. Ogni previsione che formula deve essere coerente con le leggi di Kirchhoff e con l'equazione di swing per la stabilità di frequenza.

I risultati furono sorprendenti: 0.64 MW di scostamento dalla verità di riferimento contro 0.73 MW del modello non vincolato, con tempi di inferenza sotto i 50 millisecondi. Ancora più importante, il modello fisicamente vincolato mantenne la fattibilità in scenari estremi. Non poteva allucinare stati di rete impossibili perché la fisica non glielo permetteva.

Quando la funzione di perdita della tua IA include le leggi della fisica, l'allucinazione non è solo improbabile — è penalizzata matematicamente.

Quella discussione si concluse con entrambi gli ingegneri dalla stessa parte. Ed è diventata il fondamento di ciò che oggi costruiamo in Veriprajna.

Come si costruisce un'IA che non può mentire sulla fisica?

L'architettura che abbiamo sviluppato ha una struttura che a volte descrivo come un "sandwich" — anche se questo ne sminuisce la precisione.

Il livello superiore è neurale. Gestisce la percezione: legge dati non strutturati, estrae l'intento, riconosce le entità. Se una richiesta di interconnessione per un grande carico arriva come un deposito PDF di 200 pagine, questo livello lo analizza in parametri strutturati. In questo è bravo. Gli LLM sono davvero eccellenti nei compiti di percezione.

Il livello intermedio è simbolico. È qui che avviene il ragionamento vero e proprio, ed è interamente deterministico. I Knowledge Graph memorizzano le relazioni tra sottostazioni, linee di trasmissione, contratti dei data center e standard di conformità NERC. Regole di business codificate in modo rigido — ciò che chiamiamo Policy-as-Code — validano ogni parametro estratto rispetto alla fisica della rete e ai requisiti normativi. Nessuna quantità di prompt engineering può aggirare questo livello. Se una rampa di carico proposta viola il vincolo di contingenza N-1 definito in NERC TPL-001, il sistema la segnala. Punto. Non esiste alcuna impostazione di "temperatura" che lo renda più creativo riguardo alla sicurezza.

Il livello inferiore è di nuovo neurale. Prende la decisione validata dal livello simbolico e la traduce in linguaggio naturale o in segnali di controllo per le macchine. È un comunicatore, non un pensatore.

Questo è ciò che intendo con un approccio "Glass Box", a scatola di vetro. Ogni decisione ha una catena di citazioni. Invece di una scatola nera che dice "fidati, sono l'IA", il nostro sistema dice: "Ho segnalato questo perché la velocità di rampa proposta supera la soglia definita nella Sezione 4.2 dell'accordo di interconnessione, incrociata con la telemetria in tempo reale dai dati PMU alla Sottostazione 7."

Le persone obiettano sempre su questo. "Il livello simbolico non è forse solo regole? Non state semplicemente costruendo un sistema esperto con qualche passaggio in più?" No. I livelli neurali gestiscono le parti che le regole non possono — percezione di dati non strutturati, riconoscimento di schemi tra migliaia di variabili, rilevamento di anomalie in tempo reale in flussi di sensori rumorosi. Il livello simbolico gestisce le parti che le reti neurali non possono — conformità garantita, fattibilità fisica, verificabilità. Nessuno dei due da solo è sufficiente. Insieme, coprono i rispettivi punti ciechi.

Di cosa ha realmente bisogno la rete elettrica in questo momento?

La risposta di NERC all'incidente della Virginia fu rapida e, a loro merito, sostanziale. Istituirono la Large Loads Task Force nell'agosto 2024 ed emisero a settembre un Level 2 Industry Recommendation Alert, esortando le società di servizi a rivedere radicalmente il modo in cui modellano, monitorano e comunicano con i grandi carichi.

Il problema centrale individuato da NERC è ciò che io chiamerei invisibilità. Gli operatori di rete non potevano vedere dentro quei 60 data center. Non avevano telemetria in tempo reale sulla logica di conteggio degli UPS, nessuna visibilità su quando le strutture si avvicinavano alle loro soglie di disconnessione. I data center erano scatole nere che prelevavano gigawatt da un sistema che li trattava come case sovradimensionate.

Uno sviluppo tecnico che mi dà genuina speranza è il modello PERC1 — Power Electronic Ceasing and Reconnecting. I modelli di carico tradizionali erano progettati per motori e resistenze, dispositivi che rallentano gradualmente durante un guasto. I data center non rallentano. Cessano completamente il consumo, in millisecondi, attraverso la commutazione elettronica di potenza. PERC1 è il primo modello progettato specificamente per rappresentare questo comportamento, ed è fondamentale per qualsiasi simulazione che voglia prevedere cosa accade davvero durante eventi come quello del 10 luglio.

Ma i modelli da soli non bastano. I data center devono diventare partecipanti attivi nella stabilità della rete, non consumatori passivi che si disconnettono quando le cose si fanno scomode.

È qui che OpenADR 3.0 — lo standard modernizzato di risposta automatica alla domanda — diventa essenziale. La versione più vecchia usava un macchinoso scambio di messaggi XML con tempi di risposta inferiori al minuto. La versione 3.0 usa API RESTful e JSON con latenza inferiore al secondo. È la differenza tra "per favore riduci il carico nei prossimi 60 secondi" e "sposta 50 MW di elaborazione batch alla tua struttura in Oregon proprio adesso."

Se i data center riducessero solo lo 0.5% del loro consumo elettrico annuo durante i periodi di picco, 100 GW di nuova capacità potrebbero collegarsi alla rete senza costruire una sola nuova centrale a gas.

L'iniziativa DCFlex di EPRI sta già arruolando data center in programmi volontari di risposta alla domanda costruiti su questa premessa. I conti sono convincenti, ma l'esecuzione richiede un'IA capace di spostare dinamicamente i carichi di lavoro computazionali tra regioni geografiche rispettando sia i vincoli della rete sia gli accordi sul livello di servizio. Quel livello di orchestrazione — abbastanza veloce per una risposta inferiore al secondo, abbastanza intelligente da rispettare la fisica, abbastanza verificabile per i regolatori — è esattamente ciò che la nostra architettura basata su PINN è progettata per fornire.

Per l'analisi tecnica completa di come integriamo i PINN con lo stack neuro-simbolico, consulta il nostro documento di ricerca sul disturbo della Virginia.

Perché il problema della Virginia è il problema di tutti

Devo parlare del costo umano, perché la comunità tecnica ha la tendenza a discutere della stabilità della rete in astratto.

Si prevede che la capacità dei data center di Dominion Energy cresca dai 4 GW di oggi a quasi 40 GW di capacità contrattualizzata. La Virginia ha concesso $2.7 miliardi in sussidi agli operatori di data center nell'ultimo decennio. Lo stato ha bisogno di $28.3 miliardi in nuove infrastrutture di trasmissione e di una capacità di trasmissione superiore del 40% per gestire il carico previsto — un ritmo di realizzazione che la stessa Joint Legislative Audit and Review Commission dello stato definisce "molto difficile da raggiungere."

Nel frattempo, i prezzi regionali della capacità sono schizzati dell'833%. Si prevede che le bollette elettriche residenziali raggiungano $380 al mese entro il 2045. Nel 2023 i data center della Virginia settentrionale hanno consumato quasi 2 miliardi di galloni d'acqua per il raffreddamento — abbastanza da rifornire 50,000 persone — e fanno affidamento su quasi 9,000 generatori diesel di emergenza che sono, come il 10 luglio ha dimostrato, non semplici riserve ma una parte centrale della strategia operativa.

Il Department of Energy prevede che, senza un intervento significativo, le interruzioni potrebbero aumentare bruscamente dalle 2.4 ore all'anno di oggi a oltre 430 ore entro il 2030.

Non sono contrario ai data center. La mia azienda esiste grazie all'infrastruttura di calcolo che queste strutture forniscono. Ma sono profondamente contrario all'idea che possiamo continuare a scalare la potenza di calcolo dell'IA trattando la rete come una risorsa infinita e l'IA stessa come una scatola magica di testo che in qualche modo risolverà tutto.

La consapevolezza delle 2 del mattino

Ci fu una notte — credo fosse inizio settembre, in piena analisi — in cui stavo esaminando i dati di frequenza di PJM relativi all'evento del 10 luglio. Fissavo il picco di 60.047 Hz probabilmente per la centesima volta. E qualcosa scattò che non avevo mai articolato prima.

I sistemi UPS dei data center fecero esattamente ciò per cui erano stati progettati. La richiusura automatica della rete fece esattamente ciò per cui era stata progettata. Gli operatori di PJM fecero esattamente ciò per cui erano stati addestrati. Ogni singolo attore si comportò correttamente. La catastrofe emerse dall'interazione — dal divario tra sistemi che non erano mai stati progettati per dialogare tra loro.

È la stessa modalità di guasto che vedo ovunque nelle implementazioni di IA aziendali. L'LLM fa ciò per cui è progettato — generare testo plausibile. Il sistema di recupero fa ciò per cui è progettato — trovare documenti pertinenti. L'interfaccia utente fa ciò per cui è progettata — presentare i risultati in modo ordinato. E il tutto produce una risposta sicura di sé e ben documentata che è fisicamente impossibile, legalmente errata o finanziariamente rovinosa, perché nessun livello è responsabile della verità di riferimento.

È questo il problema che stiamo risolvendo. Non costruire un chatbot migliore. Non avvolgere un prompt più intelligente attorno a GPT. Costruire architetture in cui la verità è strutturale — in cui la fisica non può essere scavalcata dalla probabilità, in cui la logica non può essere allucinata, in cui ogni output ha una catena di citazioni che un regolatore, un ingegnere o un giudice può ripercorrere dalla conclusione fino alle prove.

Il blackout della Virginia non fu causato da un sistema che falliva. Fu causato da sistemi che riuscivano ciascuno per conto proprio in modi che produssero una catastrofe collettiva. È la stessa modalità di guasto in agguato in ogni wrapper di IA impiegato oggi nelle infrastrutture critiche.

Dove andremo da qui

Sarò diretto su ciò che penso stia arrivando.

L'era del wrapper di LLM è finita per qualsiasi cosa abbia importanza. Per generare post di blog e riassumere riunioni, va bene — i wrapper persisteranno e miglioreranno. Ma per i sistemi in cui le risposte sbagliate hanno conseguenze fisiche — reti elettriche, conformità finanziaria, dispositivi medici, ingegneria strutturale — il settore si dividerà. Una strada porta a catene di prompt sempre più elaborate avvolte attorno a modelli probabilistici, con "guardrail" che sono essi stessi probabilistici. L'altra porta ad architetture ibride in cui la percezione neurale alimenta un ragionamento deterministico, vincolato dalle leggi reali che governano il dominio.

So su quale strada sto costruendo. La rete della Virginia non aveva bisogno di un'IA più eloquente. Aveva bisogno di un'IA che comprendesse, al livello delle equazioni differenziali, cosa succede quando 1,500 MW di carico spariscono in 82 secondi. Aveva bisogno di un'IA capace di vedere la logica di conteggio in quei sistemi UPS avvicinarsi alla disconnessione e di intervenire — non con un suggerimento, ma con un segnale di controllo verificato dalla fisica inviato in meno di un millisecondo.

L'affidabilità dell'alimentazione è ormai una variabile a livello di consiglio di amministrazione. La prossima volta che la rete vacillerà nella Virginia settentrionale — e accadrà, perché il carico cresce dieci volte più velocemente della capacità di trasmissione — la domanda non sarà se l'IA fosse coinvolta. Sarà se l'IA abbia compreso la fisica, o si sia limitata a prevedere il token successivo.