Fila di armadi di gruppi di continuità (UPS) identici di un data center che passano tutti insieme all'alimentazione di riserva durante il byte blackout
Artificial IntelligenceData CentersEnergy

1.500 megawatt svaniti in 82 secondi, e gli operatori di rete non l'hanno visto arrivare

Ashutosh SinghalAshutosh Singhal16 giugno 202612 min

Il 10 luglio 2024, uno scaricatore di sovratensione ha ceduto su una linea da 230 kilovolt vicino a Fairfax, in Virginia. Nel giro di 82 secondi, circa 1.500 megawatt di carico dei data center — all'incirca un terzo di tutte le abitazioni della Virginia, in termini elettrici — sono semplicemente spariti dalla rete. Gli operatori di rete si sono affannati a ridurre 600 megawatt di centrali a gas in Pennsylvania e a togliere 300 megawatt a un'unità nucleare solo per impedire che la frequenza salisse abbastanza da danneggiare le apparecchiature.

Ho passato una lunga serata sul PDF di revisione dell'incidente della NERC dopo quel fatto, e ciò che mi è rimasto impresso è quello che non è successo. Non c'è stata alcuna violazione di tensione. Il guasto ha innescato una sequenza di protezione automatica — la linea ha tentato di richiudersi tre volte da ciascuna estremità, producendo sei brevi cali di tensione in quei 82 secondi. Ogni singolo calo è rimasto all'interno della banda normale ANSI C84.1 di più o meno il 10 percento. Secondo il manuale, sulla linea non è andato storto nulla.

Ciò che è andato storto era il firmware. La maggior parte dei gruppi di continuità dei data center applica una regola "tre colpi": tre disturbi di tensione entro un minuto e il sistema trasferisce l'intera struttura sul diesel. La sequenza di richiusura ha raggiunto quella soglia contemporaneamente in circa 60 data center. Non è stata la rete a tradire i data center. Sono stati i data center ad abbandonare la rete, all'unisono, a causa di una regola di conteggio la cui esistenza nessuno al di fuori degli edifici conosceva.

La rete è rimasta nei parametri per tutti gli 82 secondi. I data center se ne sono andati comunque.

Quell'evento è il motivo per cui Veriprajna ha costruito un sistema di interazione tra data center e rete — un'IA che orchestra il modo in cui una struttura risponde ai segnali della rete, partecipa ai mercati della capacità e dimostra la propria flessibilità ai regolatori. Ma non sono partito da lì. Ho iniziato, come quasi tutti in questo settore, risolvendo il problema sbagliato.

Cosa ho sbagliato all'inizio?

La lettura ovvia del byte blackout è "il gruppo di continuità ha reagito troppo in fretta". Così il nostro primo prototipo è stato uno strato reattivo più intelligente — software che monitorava la frequenza e la tensione della rete e faceva sì che il parco di gruppi di continuità della struttura si comportasse da buon cittadino durante un disturbo. Disconnessione pulita, superamento del transitorio, riconnessione scaglionata anziché tutta in una volta. La demo è stata splendida. La frequenza oscilla, il sistema tiene, tutti annuiscono.

Era anche quasi inutile, e la persona che me lo ha fatto capire è stato un responsabile energia di un provider di colocation che ha guardato la nostra funzione di ride-through di 30 secondi e ha chiesto cosa facesse per la sua bolletta della capacità.

Niente. Non faceva niente per la sua bolletta della capacità.

Perché il disturbo non è dove risiedono i soldi o la pressione normativa. Schneider Electric commercializza già una funzionalità di Fast Frequency Reserve che consente a un data center di disconnettersi fino a 30 secondi per sostenere la stabilità della rete. Eaton vende gruppi di continuità bidirezionali costruiti esattamente per questa risposta a velocità istantanea. Quello strato del problema ha i suoi fornitori. Ciò che nessuno di loro aveva — ciò di cui l'operatore di colo aveva effettivamente bisogno — era qualcosa che funzionasse sulla scala temporale delle ore e delle aste, non dei secondi.

Un riflesso di 30 secondi non ti aiuta quando la minaccia è una curva di prezzo di 24 mesi.

Il numero che ha riorganizzato tutto

Il prezzo della capacità PJM è salito da 28,92 a 329,17 dollari per MW-giorno, portando la bolletta di una struttura da 100 MW da 1,1 milioni a 12 milioni di dollari

Ecco la cifra che ha riorganizzato il mio modo di pensare a questo intero mercato. Nella regione PJM, che copre il Medio Atlantico e una fetta del Midwest, il prezzo della capacità — quello che paghi per megawatt per garantire che la tua energia ci sia quando la rete è sotto stress — è passato da 28,92 dollari per megawatt-giorno nel 2024/25 a 329,17 nel 2026/27. È un aumento di dieci volte in due cicli d'asta.

Per una struttura da 100 megawatt, l'obbligo annuale di capacità è passato da circa 1,1 milioni di dollari a circa 12 milioni. Non è più una voce di spesa per la sostenibilità. È un numero che un CFO cerchia in rosso e porta al consiglio di amministrazione, e i data center sanno esattamente perché è successo: hanno determinato il 63 percento dell'aumento di prezzo nell'asta 2025/26, il che si traduce in 9,3 miliardi di dollari recuperati da ogni utente della rete della regione. A partire da giugno 2026, gli utenti della PJM pagano collettivamente 1,4 miliardi di dollari in più all'anno, e una fetta significativa di questo ricade sulle bollette domestiche — circa 18 dollari al mese nel Maryland occidentale, 16 in Ohio.

Una volta capito questo, la reazione politica ha avuto senso. I legislatori della Virginia hanno passato la sessione del 2026 a dibattere una moratoria sui nuovi data center e hanno optato invece per una nuova classe tariffaria "GS-5" per ogni carico superiore a 25 megawatt, in vigore dal 1° gennaio 2027. Dominion Energy, che riceve richieste di nuova potenza per data center per oltre un gigawatt ogni mese a fronte di 70 gigawatt di domanda totale presentata, ha ammesso pubblicamente di non poter soddisfare ciò che le viene chiesto. Quando l'utility locale dice ad alta voce che non può servirti, la tua coda di interconnessione smette di essere un problema di pianificazione e diventa un problema esistenziale.

Quindi il vero problema non è mai stato "superare un calo di tensione". Era: questa struttura può dimostrare che aiuta la rete invece di danneggiarla — dal punto di vista finanziario, operativo e verso un regolatore? Quel riformulare è l'intera azienda.

Perché il protocollo standard non ha semplicemente funzionato?

Hub di orchestrazione centrale collegato a cinque leve di flessibilità del data center che nessun singolo fornitore coordina

La mia ipotesi successiva era che l'impianto esistesse già. Esiste uno standard aperto per questo — OpenADR, l'Open Automated Demand Response protocol, ora nella versione 3.0 con una pulita API REST. Le utility inviano eventi di demand response; gli edifici rispondono. L'abbiamo collegato aspettandoci che fosse la parte facile.

È stata la parte che mi ha insegnato di più. OpenADR è stato costruito per gli edifici. Può dire a una struttura "riduci il carico ora", ma non ha alcun concetto nativo per un data center — nessun tipo di evento per limitare un cluster di addestramento GPU, spostare un carico termico di raffreddamento o coordinare l'islanding dei gruppi di continuità tra i tenant. Peggio di tutto, è cieco rispetto al carico di lavoro. Non riesce a distinguere un job di addestramento di machine learning che potrebbe tranquillamente mettersi in pausa per due ore da una richiesta di inferenza in tempo reale che un cliente sta aspettando proprio ora. Per un data center, quella distinzione è tutto. Rimanda il carico di lavoro sbagliato e hai violato un SLA; rimanda quello giusto e il cliente non se ne accorge nemmeno.

Quello è stato il vicolo cieco che ha indicato l'architettura vera e propria. La flessibilità in un data center non è una sola leva. Il raffreddamento è all'incirca il 40 percento del consumo energetico totale — è un carico flessibile contro cui puoi pre-raffreddare. I gruppi di continuità e le batterie sono una risorsa dispacciabile. La schedulazione del calcolo stessa è flessibile se sai quali job sono differibili. E al di sopra di tutto questo c'è la posizione sul mercato della capacità che stai cercando di ottimizzare. Nessun fornitore che sia riuscito a trovare orchestrava tutti questi elementi contemporaneamente. Schneider fa hardware di alimentazione e raffreddamento. Emerald AI fa calcolo più generazione in loco. Nessuno faceva tutti e cinque gli strati insieme, ed è esattamente il vuoto in cui ci siamo inseriti.

Il problema dei tenant per cui nessuno progetta

C'è un motivo per cui la maggior parte del denaro serio in questo settore è puntata altrove. Emerald AI — fondata dall'ex funzionario del Department of Energy Varun Sivaram, 68 milioni di dollari raccolti in 16 mesi, con NVIDIA, Eaton, GE Vernova e persino il braccio di venture capital della CIA nella cap table — è il chiaro leader. La loro piattaforma Conductor ha dimostrato una riduzione di potenza del 25 percento sostenuta per tre ore durante un evento di stress della rete, validata su Nature Energy. È un lavoro davvero notevole.

È anche costruita per le fabbriche di IA hyperscaler a tenant singolo — cluster di GPU NVIDIA in cui un solo operatore controlla ogni carico di lavoro. Google ha fatto lo stesso internamente, integrando un intero gigawatt di demand response nei suoi contratti di fornitura, perché Google può semplicemente decidere di spostare i propri job di machine learning.

L'operatore di colocation che aveva messo in discussione il mio primo prototipo ha detto la cosa che ha definito il nostro cuneo: lui non controllava i carichi di lavoro dei suoi tenant, e il nostro software aveva silenziosamente dato per scontato che lo facesse.

Aveva ragione, ed è l'assunto radicato in quasi ogni prodotto sul mercato. Un colo multi-tenant non possiede la schedulazione del calcolo. Ha un edificio pieno di clienti che eseguono di tutto, dai database aziendali all'addestramento di IA all'inferenza sensibile alla latenza, su un mix di NVIDIA, AMD e silicio personalizzato, dietro schieramenti di gruppi di continuità di fornitori diversi che — come il byte blackout ha dimostrato — non contano nemmeno i disturbi di tensione nello stesso modo. Alcuni contano per fase, altri aggregano. Orchestrare la flessibilità in quell'ambiente, senza controllare i carichi di lavoro e senza vincolare l'operatore a un unico fornitore di GPU, è un problema fondamentalmente più difficile e quasi completamente non servito. È lì che abbiamo deciso di stare: neutrali rispetto ai fornitori, multi-tenant, costruiti per come funziona davvero la colocation.

Tutti stanno costruendo il data center che controlla il proprio calcolo. Quasi nessuno sta costruendo per l'operatore che non lo controlla.

Il vuoto di conformità lasciato aperto dal blackout

La cosa più scomoda che ho imparato è che l'esatta modalità di guasto dietro il luglio 2024 è ancora spalancata, quasi due anni dopo.

La NERC — l'organismo che stabilisce gli standard di affidabilità per la rete nordamericana — ha un Large Loads Working Group che corre a scrivere i primi standard specifici per i carichi dei data center, con una scadenza iniziale a fine 2026. Ha introdotto una nuova classificazione di modellazione del carico per i data center, chiamata PERC1, che dovrebbe consentire alle utility di simulare come si comporterà un cluster di strutture durante un guasto. Il problema: PERC1 richiede parametri specifici della struttura — il comportamento reale di ride-through dei tuoi gruppi di continuità, la tua vera logica di conteggio — e non esiste alcuno strumento commerciale che estragga quei dati dai sistemi di monitoraggio di una struttura. Le utility hanno bisogno dei dati. I data center non hanno modo di produrli. Il vuoto di divulgazione che ha causato il blackout è, strutturalmente, ancora lì.

Per un operatore, non è un dibattito astratto sugli standard. La regolamentazione della FERC sull'interconnessione dei grandi carichi (docket RM26-4-000, azione finale prevista per il 30 aprile 2026) prospetta studi di interconnessione accelerati di 60 giorni per i carichi in grado di dimostrare di essere flessibili. In una regione dove la coda standard va dai tre ai cinque anni, un percorso di 60 giorni è la differenza tra aprire nel 2026 e aprire nel 2030. Ma per qualificarti, ti servono monitoraggio e verifica che quasi certamente oggi non hai. Una flessibilità che non puoi documentare è una flessibilità che non conta.

Quindi parte di ciò che abbiamo costruito non è affatto affascinante: è lo strato che legge il comportamento proprio di una struttura — soglie dei gruppi di continuità, risposta di ride-through, composizione del carico — e lo trasforma negli artefatti che un regolatore e una utility chiedono effettivamente. La verità poco glamour è che il "dimostralo" sta diventando l'intero gioco, e la prova richiede una strumentazione che nessuno ha installato.

"Il nucleare non risolverà semplicemente tutto questo?"

Me lo chiedono costantemente in qualche versione, quindi lasciate che affronti di petto le tre obiezioni.

La prima è il nucleare. Meta, Microsoft e Google hanno tutte firmato accordi clamorosi su piccoli reattori modulari e sul riavvio di centrali nucleari — Meta da sola per un massimo di 6,6 gigawatt. Ma nessun SMR commerciale è operativo oggi negli Stati Uniti, e le date realistiche di entrata in funzione si concentrano tra il 2028 e il 2032. L'interazione con la rete è un problema di quest'anno. E anche con un reattore accanto, devi comunque gestire la transizione, rivendere la generazione in eccesso e superare gli anni prima che sia attivo.

La seconda è "non è solo demand response, che le utility gestiscono da decenni?". Il demand response tradizionale è manuale, mediato dall'utility e grossolano — riduci il carico, vieni pagato. Ciò che è cambiato è il prezzo e la precisione. A circa 120.000 dollari per megawatt-anno di valore di capacità, una struttura da 100 megawatt che offre anche solo il 20 percento di flessibilità arriva a circa 2,4 milioni di dollari all'anno, e una struttura che si struttura per evitare del tutto l'obbligo di capacità può arrivare all'intero ~12 milioni di dollari. Numeri di quella portata giustificano un'ottimizzazione automatizzata e consapevole del carico di lavoro di cui i vecchi programmi non hanno mai avuto bisogno.

La terza è "perché non comprare semplicemente l'hardware da Schneider o Eaton?". Dovresti — producono apparecchiature eccellenti. Ma l'hardware è il corpo; l'orchestrazione è il sistema nervoso, ed è il motivo per cui Eaton ha investito in Emerald AI invece di costruire il software da sé. Lo strato decisionale che monitora i segnali della rete, i prezzi di mercato, il margine termico e il calcolo differibile tutti insieme, e agisce su di essi in coordinamento, è una disciplina a sé. È quella la parte che costruiamo, e la costruiamo perché si posi sopra qualunque hardware tu già possieda.

L'asset sull'altro lato della passività

Il sistema di interazione tra data center e rete di Veriprajna esiste per via di una convinzione che non avevo quando ho iniziato. Ora sono convinto che gli operatori che sopravviveranno ai prossimi anni non saranno quelli che bloccano il contratto di fornitura più economico. Saranno quelli capaci di consegnare a una utility un profilo di flessibilità verificato e a un regolatore un comportamento di ride-through documentato — e di ottenere in cambio un'interconnessione più rapida e una bolletta della capacità più bassa.

Il byte blackout è stato un incidente sfiorato. Circa 60 strutture hanno abbandonato la rete a causa di una regola di conteggio, e il sistema lo ha assorbito — a malapena, staccando centrali elettriche in due stati. La PJM prevede di operare con un margine di affidabilità minimo per tutta l'estate del 2026 e potrebbe scendere al di sotto dei suoi standard entro giugno 2027. Il prossimo evento non avrà lo stesso margine per essere contenuto.

Un data center può essere il carico flessibile più grande, più controllabile e più prezioso dell'intera rete. Ogni megawatt che è sfuggito dalla linea in 82 secondi avrebbe potuto invece essere un megawatt che ha scelto di farsi da parte, su un segnale, ed è stato pagato per farlo. È questa l'intera differenza tra una passività e un asset — e in questo momento tutto si riduce a se l'edificio sia in grado di decidere da sé, in tempo, con prove. Quella decisione è software. Noi abbiamo deciso di scriverlo.

Ricerca correlata

Pubblicato anche su

Costruisci la tua IA con fiducia.

Collabora con un team che vanta una profonda esperienza nella creazione della prossima generazione di IA aziendale. Lascia che ti aiutiamo a progettare, sviluppare e implementare una strategia di IA di cui ti puoi fidare.

Veriprajna società di consulenza Deep Tech è specializzata nella creazione di sistemi di IA safety-critical per i settori sanitario, finanziario e regolamentato. Le nostre architetture sono validate rispetto a protocolli consolidati con una documentazione di conformità completa.