1,500 מגה-וואט נעלמו ב-82 שניות — ומפעילי הרשת לא ראו את זה מגיע
ב-10 ביולי 2024 כשל מדק ברקים בקו של 230 קילו-וולט סמוך לפיירפקס שבווירג'יניה. בתוך 82 שניות, כ-1,500 מגה-וואט של עומס מרכזי נתונים — כשליש מכל משקי הבית בווירג'יניה, במונחים חשמליים — פשוט נעלמו מהרשת. מפעילי הרשת נחפזו להוריד 600 מגה-וואט של תחנות גז בפנסילבניה ולגרוע 300 מגה-וואט מיחידה גרעינית רק כדי למנוע מהתדר להאמיר גבוה מספיק כדי לפגוע בציוד.
אחר כך ביליתי ערב ארוך עם קובץ ה-PDF של סקירת האירוע של NERC, והדבר שנשאר איתי הוא מה שלא קרה. לא הייתה שום חריגת מתח. התקלה הפעילה רצף הגנה אוטומטי — הקו ניסה להיסגר מחדש שלוש פעמים מכל קצה, וייצר שש שקיעות מתח קצרות במהלך אותן 82 שניות. כל שקיעה בודדת נשארה בתוך הטווח התקין של תקן ANSI C84.1 של פלוס-מינוס 10 אחוזים. על פי הספר, שום דבר לא השתבש על הקו.
מה שהשתבש היה קושחה. רוב אספקות המתח האל-פסק (UPS) של מרכזי נתונים פועלות לפי כלל של "שלוש התראות": שלוש הפרעות מתח בתוך דקה אחת והמערכת מעבירה את כל המתקן לדיזל. רצף הסגירה מחדש הגיע לסף הזה בכ-60 מרכזי נתונים בבת אחת. הרשת לא אכזבה את מרכזי הנתונים. מרכזי הנתונים עזבו את הרשת, בצעדים מתואמים, בגלל כלל ספירה שאיש מחוץ למבנים לא ידע שקיים.
הרשת נשארה בתוך המפרט לאורך כל 82 השניות. מרכזי הנתונים עזבו בכל זאת.
האירוע הזה הוא הסיבה ש-Veriprajna בנתה מערכת לאינטראקציה בין מרכז הנתונים לרשת החשמל — בינה מלאכותית שמתזמרת כיצד מתקן מגיב לאותות הרשת, משתתף בשווקי הקיבולת, ומוכיח את גמישותו לרגולטורים. אבל לא התחלתי משם. התחלתי, כמו כמעט כל אחד בתחום הזה, בפתרון הבעיה הלא נכונה.
במה טעיתי בהתחלה?
הפרשנות המובנת מאליה של האפלת הבייט היא ש"ה-UPS הגיב מהר מדי". לכן אב הטיפוס הראשון שלנו היה שכבה תגובתית חכמה יותר — תוכנה שעקבה אחר תדר ומתח הרשת וגרמה לצי ה-UPS של המתקן להתנהג כאזרח טוב במהלך הפרעה. להתנתק בצורה נקייה, לצלוח את המעבר החולף, ולהתחבר מחדש בהדרגה במקום בבת אחת. ההדגמה נראתה נהדר. התדר מתנודד, המערכת מחזיקה, כולם מהנהנים.
היא גם הייתה כמעט חסרת תועלת, והאדם שגרם לי לראות זאת היה אחראי אנרגיה אצל ספק קולוקיישן שהביט בפיצ'ר צליחת 30 השניות שלנו ושאל מה הוא עושה עבור חשבון הקיבולת שלו.
כלום. הוא לא עשה דבר עבור חשבון הקיבולת שלו.
כי ההפרעה אינה המקום שבו שוכנים הכסף או הלחץ הרגולטורי. Schneider Electric כבר מספקת יכולת של רזרבת תדר מהירה (Fast Frequency Reserve) המאפשרת למרכז נתונים להתנתק למשך עד 30 שניות כדי לתמוך ביציבות הרשת. Eaton מוכרת מערכות UPS דו-כיווניות שנבנו בדיוק עבור תגובה מהירה זו. לשכבה הזו של הבעיה יש ספקים. מה שלאף אחד מהם לא היה — מה שמפעיל הקולוקיישן באמת נזקק לו — היה משהו שעובד בקנה המידה של שעות ומכרזים, לא שניות.
רפלקס של 30 שניות לא עוזר לך כשהאיום הוא עקומת מחירים של 24 חודשים.
המספר שארגן מחדש את הכול
הנה הנתון שארגן מחדש את האופן שבו חשבתי על כל השוק הזה. באזור PJM, המכסה את מרכז-האטלנטי ונתח מהמערב התיכון, מחיר הקיבולת — מה שאתה משלם לכל מגה-וואט כדי להבטיח שהחשמל שלך יהיה שם כשהרשת בעומס — עלה מ-$28.92 למגה-וואט-יום ב-2024/25 ל-$329.17 ב-2026/27. זו עלייה פי עשרה בשני מחזורי מכרז.
עבור מתקן בהספק 100 מגה-וואט, מחויבות הקיבולת השנתית עלתה מכ-$1.1 מיליון לכ-$12 מיליון. זה כבר לא סעיף של קיימות. זה מספר שסמנכ"ל כספים מקיף באדום ומביא לדירקטוריון, ומרכזי הנתונים יודעים בדיוק למה זה קרה: הם הניעו 63 אחוזים מעליית המחיר במכרז 2025/26, מה שמתורגם ל-$9.3 מיליארד שנגבו מכל צרכן בתעריף באזור. החל מיוני 2026, צרכני PJM משלמים יחד $1.4 מיליארד נוספים בשנה, ונתח משמעותי מכך נוחת על חשבונות הבית — כ-$18 בחודש במערב מרילנד, $16 באוהיו.
ברגע שהבנתי זאת, המהלך הפוליטי הנגדי קיבל היגיון. מחוקקי וירג'יניה בילו את מושב 2026 בדיון על מורטוריום על מרכזי נתונים חדשים, והתפשרו במקום זאת על מחלקת תעריף חדשה בשם "GS-5" עבור כל עומס מעל 25 מגה-וואט, שתיכנס לתוקף ב-1 בינואר 2027. Dominion Energy, שמקבלת מעל גיגה-וואט של בקשות חשמל חדשות ממרכזי נתונים מדי חודש מול 70 גיגה-וואט של סך הביקוש שהוגש, הודתה בפומבי שאינה יכולה לספק את מה שמבוקש. כשחברת החשמל המקומית אומרת בקול רם שהיא לא יכולה לשרת אותך, תור החיבור שלך מפסיק להיות בעיית תזמון והופך לבעיה קיומית.
אז הבעיה האמיתית מעולם לא הייתה "לצלוח שקיעת מתח". היא הייתה: האם המתקן הזה יכול להוכיח שהוא מסייע לרשת במקום לפגוע בה — כלכלית, תפעולית, ובפני רגולטור? המסגור מחדש הזה הוא כל החברה.
מדוע הפרוטוקול הסטנדרטי פשוט לא עבד?
ההנחה הבאה שלי הייתה שהתשתית כבר קיימת. יש תקן פתוח לכך — OpenADR, פרוטוקול תגובת הביקוש האוטומטית הפתוחה (Open Automated Demand Response), כעת בגרסה 3.0 עם REST API נקי. חברות החשמל שולחות אירועי תגובת ביקוש; המבנים מגיבים. חיברנו אותו בציפייה שזה יהיה החלק הקל.
זה היה החלק שלימד אותי הכי הרבה. OpenADR נבנה עבור מבנים. הוא יכול לומר למתקן "השל עומס עכשיו", אבל אין לו מושג מובנה של מרכז נתונים — אין סוג אירוע לצמצום אשכול אימון GPU, להסטת עומס תרמי של קירור, או לתיאום איילנדינג של UPS בין שוכרים. גרוע מכול, הוא עיוור לעומסי עבודה. הוא אינו יכול להבחין בין משימת אימון של למידת מכונה שיכולה בשמחה להשתהות לשעתיים לבין בקשת היסק חיה שלקוח ממתין לה כרגע. עבור מרכז נתונים, ההבחנה הזו היא הכול. דחה את עומס העבודה הלא נכון והפרת SLA; דחה את הנכון והלקוח כלל לא ישים לב.
זו הייתה הדרך ללא מוצא שהצביעה על הארכיטקטורה האמיתית. הגמישות במרכז נתונים אינה מנוף אחד. הקירור הוא כ-40 אחוזים מסך צריכת האנרגיה — זהו עומס גמיש שאפשר לקרר מראש כנגדו. ה-UPS והסוללות הם משאב בר-שיגור. לוח הזמנים של המחשוב עצמו גמיש אם אתה יודע אילו משימות ניתנות לדחייה. ומעל לכל זה יושבת עמדת שוק הקיבולת שאתה מנסה לייעל. אף ספק שמצאתי לא תזמר על פני כל אלה בבת אחת. Schneider מייצרת חומרת חשמל וקירור. Emerald AI עוסקת במחשוב בתוספת ייצור מקומי. אף אחד לא עשה את כל חמש השכבות יחד, וזה בדיוק הפער שנכנסנו אליו.
בעיית השוכרים שאף אחד לא בונה עבורה
יש סיבה שרוב הכסף הרציני בתחום הזה מכוון למקום אחר. Emerald AI — שנוסדה בידי ורון סיוורם, לשעבר בכיר במשרד האנרגיה, גייסה $68 מיליון תוך 16 חודשים, עם NVIDIA, Eaton, GE Vernova, ואפילו הזרוע ההונית של ה-CIA בטבלת ההון — היא המובילה הברורה. פלטפורמת Conductor שלהם הדגימה הפחתת הספק של 25 אחוזים שנשמרה במשך שלוש שעות במהלך אירוע עומס ברשת, ואומתה ב-Nature Energy. זו עבודה מרשימה באמת.
היא גם בנויה עבור מפעלי בינה מלאכותית של הייפרסקיילר בעלי שוכר יחיד — אשכולות GPU של NVIDIA שבהם מפעיל אחד שולט בכל עומס עבודה. Google עשתה את אותו הדבר באופן פנימי, ושילבה גיגה-וואט שלם של תגובת ביקוש בחוזי החשמל שלה מפני ש-Google יכולה פשוט להחליט להסיט את משימות למידת המכונה שלה עצמה.
מפעיל הקולוקיישן שהטיל ספק באב הטיפוס הראשון שלי אמר את הדבר שהגדיר את נקודת הכניסה שלנו: הוא לא שלט בעומסי העבודה של השוכרים שלו, והתוכנה שלנו הניחה בשקט שכן.
הוא צדק, וזו ההנחה הטבועה כמעט בכל מוצר בשוק. קולוקיישן מרובה-שוכרים אינו הבעלים של לוח זמני המחשוב. יש בו מבנה מלא בלקוחות שמריצים הכול, ממסדי נתונים ארגוניים דרך אימון בינה מלאכותית ועד היסק רגיש-השהיה, על תמהיל של NVIDIA, AMD, וסיליקון מותאם, מאחורי מערכי UPS מספקים שונים ש — כפי שהוכיחה האפלת הבייט — אפילו לא סופרים הפרעות מתח באותו אופן. חלקם סופרים לכל מופע, חלקם מצרפים. תזמור הגמישות באותה סביבה, בלי לשלוט בעומסי העבודה ובלי לכבול את המפעיל לספק GPU יחיד, היא בעיה קשה בהרבה מיסודה וכמעט בלתי-מטופלת לחלוטין. שם החלטנו לחיות: ניטרליים לספקים, מרובי-שוכרים, בנויים לאופן שבו קולוקיישן באמת עובד.
כולם בונים את מרכז הנתונים ששולט במחשוב שלו עצמו. כמעט אף אחד לא בונה עבור המפעיל שאינו שולט.
פער הציות שההאפלה הותירה פתוח
הדבר הכי לא נוח שלמדתי הוא שמצב הכשל המדויק שעמד מאחורי יולי 2024 עדיין פתוח לרווחה, כמעט שנתיים לאחר מכן.
ל-NERC — הגוף שקובע את תקני האמינות של רשת החשמל בצפון אמריקה — יש קבוצת עבודה לעומסים גדולים (Large Loads Working Group) הממהרת לכתוב את התקנים הראשונים המיועדים ספציפית לעומסי מרכזי נתונים, עם מועד יעד ראשוני של סוף 2026. הם הציגו סיווג חדש של מידול עומס עבור מרכזי נתונים, בשם PERC1, שאמור לאפשר לחברות החשמל לדמות כיצד אשכול של מתקנים יתנהג במהלך תקלה. הבעיה: PERC1 זקוק לפרמטרים ספציפיים למתקן — התנהגות צליחת ה-UPS האמיתית שלך, לוגיקת הספירה האמיתית שלך — ואין שום כלי מסחרי שמחלץ את הנתונים האלה ממערכות הניטור של מתקן. חברות החשמל זקוקות לנתונים. למרכזי הנתונים אין דרך להפיק אותם. פער הגילוי שגרם להאפלה עדיין קיים, באופן מבני.
עבור מפעיל זה אינו ויכוח תקינה מופשט. תקנת החיבור לעומסים גדולים של FERC (תיק RM26-4-000, פעולה סופית צפויה ב-30 באפריל 2026) מציעה מחקרי חיבור מזורזים בני 60 יום עבור עומסים שיכולים להוכיח שהם גמישים. באזור שבו התור הסטנדרטי נמשך שלוש עד חמש שנים, מסלול של 60 יום הוא ההבדל בין פתיחה ב-2026 לפתיחה ב-2030. אבל כדי להיות זכאי, אתה זקוק לניטור ולאימות שכמעט בוודאות אין לך היום. גמישות שאינך יכול לתעד היא גמישות שאינה נספרת.
אז חלק ממה שבנינו אינו סקסי כלל: זו השכבה שקוראת את ההתנהגות של המתקן עצמו — ספי UPS, תגובת צליחה, הרכב העומס — והופכת אותה לתוצרים שרגולטור וחברת חשמל באמת מבקשים. האמת הלא זוהרת היא ש"הוכח זאת" הופך למשחק כולו, וההוכחה דורשת מיכשור שאף אחד לא התקין.
"האם הגרעין פשוט לא יפתור את זה?"
אנשים שואלים אותי גרסה כלשהי של זה כל הזמן, אז הרשו לי לענות על שלוש ההסתייגויות באופן ישיר.
הראשונה היא גרעין. Meta, Microsoft ו-Google חתמו כולן על עסקאות ראוותניות של כורים מודולריים קטנים והפעלה מחדש של כורים — Meta לבדה על עד 6.6 גיגה-וואט. אבל אף SMR מסחרי אינו פועל בארצות הברית כיום, ותאריכי ההפעלה הריאליסטיים מתקבצים סביב 2028 עד 2032. האינטראקציה עם הרשת היא בעיה של השנה הזו. וגם עם כור בשכנות, עדיין עליך לנהל את המעבר, למכור בחזרה ייצור עודף, ולצלוח את השנים שלפני שהוא פעיל.
השנייה היא "האם זו לא סתם תגובת ביקוש, שחברות החשמל מפעילות כבר עשרות שנים?" תגובת ביקוש מסורתית היא ידנית, מתווכת בידי חברת החשמל, וגסה — השל עומס, קבל תשלום. מה שהשתנה הוא המחיר והדיוק. בערך של קיבולת של כ-$120,000 למגה-וואט-שנה, מתקן בהספק 100 מגה-וואט המציע אפילו 20 אחוזי גמישות צופה לכ-$2.4 מיליון בשנה, ומתקן שמבנה את עצמו כדי להימנע ממחויבות הקיבולת לחלוטין יכול לצפות למלוא ה-$12 מיליון בקירוב. מספרים בסדר גודל כזה מצדיקים ייעול אוטומטי ומודע-עומסים שהתוכניות הישנות מעולם לא נזקקו לו.
השלישית היא "למה לא פשוט לקנות את החומרה מ-Schneider או Eaton?" כדאי לך — הם מייצרים ציוד מצוין. אבל החומרה היא הגוף; התזמור הוא מערכת העצבים, וזו הסיבה ש-Eaton השקיעה ב-Emerald AI במקום לבנות את התוכנה בעצמה. שכבת ההחלטה שעוקבת אחר אותות הרשת, מחירי השוק, מרווח תרמי, ומחשוב בר-דחייה בבת אחת, ופועלת על פניהם בתיאום, היא דיסציפלינה בפני עצמה. זה החלק שאנחנו בונים, ואנחנו בונים אותו כך שיישב מעל כל חומרה שכבר יש לך.
הנכס שבצדה השני של ההתחייבות
מערכת האינטראקציה בין מרכז הנתונים לרשת החשמל של Veriprajna קיימת בזכות שכנוע שלא היה לי כשהתחלתי. אני משוכנע כעת שהמפעילים ששורדים את השנים הבאות אינם אלה שנועלים את חוזה החשמל הזול ביותר. הם אלה שיכולים למסור לחברת חשמל פרופיל גמישות מאומת ולרגולטור התנהגות צליחה מתועדת — ולקבל תמורת זה חיבור מהיר יותר וחשבון קיבולת נמוך יותר.
האפלת הבייט הייתה כמעט-פספוס. כ-60 מתקנים עזבו את הרשת בגלל כלל ספירה, והמערכת ספגה זאת — בקושי, על ידי ניתוק תחנות כוח בשתי מדינות. PJM צופה לפעול עם מרווח אמינות מינימלי לאורך קיץ 2026 ועלולה לרדת מתחת לתקנים שלה עד יוני 2027. לאירוע הבא לא יהיה אותו מרווח לתפוס אותו.
מרכז נתונים יכול להיות העומס הגמיש הגדול ביותר, הנשלט ביותר, והבעל-ערך ביותר בכל הרשת. כל מגה-וואט שעזב את הקו ב-82 שניות יכול היה במקום זאת להיות מגה-וואט שבחר לסגת, על פי אות, וקיבל תשלום על כך. זהו כל ההבדל בין התחייבות לנכס — וכרגע הכול תלוי בשאלה האם המבנה יכול להחליט בעצמו, בזמן, עם הוכחה. ההחלטה הזו היא תוכנה. החלטנו לכתוב אותה.
