הלילה שבו 60 מרכזי נתונים נעלמו מהרשת — ומה הוא לימד אותי על גבולות ה-AI

הייתי בשיחה עם מנהל בכיר בחברת חשמל כשהוא אמר משהו שגרם לי לקפוא במקום.

"הרשת לא איבדה חשמל באותו לילה. היא איבדה ביקוש. ולאף אחד לא היה תרחיש מוכן לכך."

הוא דיבר על ה-10 ביולי 2024 — הערב שבו מכת ברק בודדת בפיירפקס, וירג'יניה, גרמה לניתוק בו-זמני של 60 מרכזי נתונים, ואיידתה 1,500 מגה-וואט של ביקוש לחשמל בפחות משתי דקות. זו בערך כל צריכת החשמל של בוסטון, שנעלמה בזמן שלוקח לצחצח שיניים. התאגיד הצפון-אמריקאי לאמינות חשמל — NERC, הגוף הפדרלי ששומר על האור דולק עבור 400 מיליון בני אדם — כינה זאת מאוחר יותר "שריפה ברמת חירום מרבית לאמינות."

ואני זוכר שישבתי שם וחשבתי: זהו האירוע שממנו הזהרתי כל הזמן. לא כשל ייצור. לא מתקפת סייבר. מפל של לוגיקת הגנה אוטומטית, כאשר כל מערכת עשתה בדיוק את מה שנצטוותה, ויחד הן הפיקו תוצאה שאיש לא תכנן. הרשת לא קרסה מפני שמשהו השתבש. היא קרסה מפני שהכול פעל נכון — בזמן הלא נכון, ברצף הלא נכון, בקנה מידה שאיש לא מידל.

זהו הסיפור על מה שקרה באמת באותו לילה, מדוע הגל הנוכחי של "פתרונות" ה-AI היה מחמיר את המצב, ומה הצוות שלי ב-Veriprajna בונה במקום זאת.

מה קורה כשברק פוגע בבירת האינטרנט של העולם?

צפון וירג'יניה מנתבת 70% מתעבורת האינטרנט העולמית. זו אינה מטאפורה לכנות אותה עמוד השדרה של הכלכלה הדיגיטלית — היא כזו פשוטו כמשמעו. ובאותו ערב יולי, מדַכֵּא ברקים כשל בקו ההולכה Ox-Possum של Dominion Energy במתח 230 קילו-וולט, ויצר תקלה קבועה.

כאן זה נעשה מעניין. מערכות ההגנה של הרשת עשו את עבודתן. הן ניסו לבצע סגירה-מחדש אוטומטית של הקו — נוהל סטנדרטי, כמו החזרת מפסק למצב פעיל כדי לבדוק אם התקלה נעלמת. המערכת ניסתה שש פעמים במהלך 82 שניות, שלושה ניסיונות מכל קצה של הקו. כל ניסיון גרם לצניחת מתח קצרה.

אף אחת מצניחות המתח הללו לא הייתה מסוכנת בפני עצמה. כל אחת נשארה בטווח של ±10% שתקני הרשת מחשיבים כתקין. אבל מערכות אספקת החשמל הרציפה (UPS) בתוך אותם מרכזי נתונים ספרו. הן מתוכנתות בכלל פשוט: אם אתה רואה שלוש הפרעות מתח בתוך דקה, הנח שהרשת קורסת ועבור לגנרטורי גיבוי בדיזל. הגן על השרתים בכל מחיר.

אז מערכות ה-UPS ספרו עד שלוש, ו-60 מתקנים אמרו בו-זמנית: אנחנו בחוץ.

תקלה שגרתית בקו הולכה בודד גרמה ל-1,500 MW של עומס להיעלם בפחות מ-82 שניות — פי חמישים מהר יותר מכשל טיפוסי של תחנת כוח.

מפעילי הרשת ב-PJM Interconnection, המנהלת חשמל עבור 65 מיליון בני אדם ב-13 מדינות, מצאו את עצמם לפתע עם עודף עצום של ייצור. התדר זינק ל-60.047 הרץ. בהפסקת חשמל רגילה, התדר יורד מפני שאיבדתם גנרטור. כאן, הוא זינק מפני שהגנרטורים עדיין הסתובבו אך העומס נעלם. המפעילים נאלצו למהר ולעשות את ההפך ממה שהם מאומנים לעשות — הם הפחיתו ידנית 600 MW מתחנות גז בפנסילבניה ו-300 MW מיחידה גרעינית בווירג'יניה רק כדי למנוע מהמערכת להעמיס יתר על המידה על השנאים.

ומרכזי הנתונים? הם ישבו על דיזל במשך שעות. המעבר לגיבוי היה אוטומטי. החזרה לרשת — לא. היא דרשה התערבות ידנית, מתקן אחר מתקן, תוך שריפת אלפי גלונים של דיזל בעוד טכנאים תיאמו את החיבור מחדש.

אני חוזר שוב ושוב אל האבסורד שבדבר. תשתית המחשוב המתוחכמת ביותר עלי אדמות, המאכסנת את המודלים שאמורים כביכול לחולל מהפכה בכל תעשייה, הושבתה על ידי אלגוריתם ספירה שלא הצליח להבחין בין "שש צניחות מתקלה אחת" לבין "שישה מצבי חירום נפרדים."

מדוע ידעתי שקהל ה"פשוט תשתמשו ב-GPT" יטעה בזה

כשבוע לאחר שהאירוע הגיע לעיתונות המקצועית, קיבלתי מייל ממשקיע שעקב אחר עבודתנו. הצעתו, בניסוח חופשי: "האם לא תוכלו פשוט לכוונן LLM על נתוני רשת ולגרום לו לחזות את המפלים הללו?"

ניסחתי שלוש תשובות שונות לפני שהתפשרתי על הגרסה המנומסת. אבל הנה מה שרציתי לומר:

לא. והעובדה שאתה בכלל שואל מלמדת אותי בדיוק עד כמה עמוקה אי-ההבנה.

מודלי שפה גדולים הם מנועים הסתברותיים. הם חוזים את הטוקן הסביר הבא ברצף. הם ממטבים עבור סבירות — מה שנשמע נכון — לא אמיתות — מה שנכון. ההבחנה הזו היא אקדמית כשאתם מייצרים תוכן שיווקי. היא הרת אסון כשאתם מנהלים מערכת שבה התדר חייב להישאר בטווח של 0.036 הרץ מהיעד שלו, אחרת השנאים מתחילים להתחמם יתר על המידה.

הצוות שלי ואני בילינו שבועות לאחר האירוע בווירג'יניה בחקר שרשרת הכשל, והגענו שוב ושוב לאותה מסקנה: הגישה הדומיננטית ל-AI בתשתיות קריטיות — מה שאני מכנה ארכיטקטורת "עוטף" (wrapper), שבה עוטפים שכבת תוכנה דקה מעל GPT-4 או Claude וקוראים לזה פתרון — הייתה חסרת תועלת כאן. אולי גרועה מחסרת תועלת.

חשבו על מה שמערכת Retrieval-Augmented Generation סטנדרטית הייתה עושה עם נתוני רשת. היא מתייחסת להכול כאל מקטעי טקסט. היא עשויה לאחזר מסמך על קו ה-Ox-Possum ומסמך אחר על תקני ה-ride-through של UPS, אבל אין לה שום מושג שצניחת מתח בתחנת משנה A מתפשטת אלקטרומגנטית לתחנת משנה B בתוך אלפיות שנייה. היא אינה מסוגלת להסיק לגבי חוקי קירכהוף. היא לא יודעת מהי משוואת נדנוד. היא הייתה מייצרת תשובה בטוחה ומעוצבת היטב שעשויה להיות בלתי אפשרית פיזיקלית.

ראינו את הדפוס הזה מתרחש בתחום אחר. בשנת 2023, Sports Illustrated הטמיעה ארכיטקטורת עוטף שיצרה דמויות עיתונאים שלמות ומאמרים — סבירים, מלוטשים, ובדויים לחלוטין. המניה צנחה ב-27%. עבור חברת מדיה, זו שערורייה. עבור מפעיל רשת חשמל, ה"הזיה" המקבילה באלגוריתם איזון עומסים אינה מפילה מחיר מניה. היא מפילה רשת חשמל.

כתבתי על אופן כשל זה בהרחבה בניתוח האינטראקטיבי שלנו של ההפרעה בווירג'יניה, שבו אנו ממפים את המפל המלא ממכת הברק ועד לגנרטורי הדיזל.

הוויכוח ששינה את האופן שבו אנו בונים

היה רגע — נדמה לי שזה היה בסוף אוגוסט 2024, אולי שלושה שבועות לאחר שהתחלנו את הניתוח המעמיק שלנו — שבו שניים מהמהנדסים שלי נכנסו לוויכוח אמיתי על ארכיטקטורה. האחד רצה לבנות גישה נוירונית טהורה: לאמן מודל ענק על טלמטריית רשת היסטורית ולתת לו ללמוד את הפיזיקה באופן מובלע. האחר התעקש שלמידה מובלעת אינה מספיקה, שאתה חייב לקודד את הפיזיקה ישירות לתוך פונקציית ההפסד של המודל.

נתתי להם להתווכח כמעט שעה. לא מפני שלא הייתה לי דעה, אלא מפני שהוויכוח עצמו גיבש משהו שסבבתי סביבו במשך חודשים.

תומך הגישה הנוירונית-בלבד הציג תוצאות ממודל למידה עמוקה סטנדרטי שיושם על AC Optimal Power Flow — בעיית האופטימיזציה המרכזית שקובעת כיצד חשמל נע דרך הרשת. המודל היה מהיר: 52.6 אלפיות שנייה להסקה. אבל כשבחנו אותו במבחני עומס מול תרחישים הדומים לאירוע בווירג'יניה — צניחות עומס פתאומיות ומסיביות — הוא הפיק מצבים שהפרו את משוואות זרימת ההספק הבסיסיות. הוא "הזה" מצבי רשת שלא יכלו להתקיים פיזיקלית. מתח בפסת צבירה שהיה מחייב זרם לזרום בכיוון האסור על ידי טופולוגיית הרשת.

תומך הגישה הפיזיקה-תחילה הראה אז מה קורה כשמשבצים את השאריות של משוואות דיפרנציאליות חלקיות מנחות ישירות לתוך פונקציית ההפסד של הרשת הנוירונית. זהו מה שמכונה רשת נוירונית מונחית-פיזיקה, או PINN. המודל לא רק לומד דפוסים מתוך נתונים; הוא לומד דפוסים מוגבלים על ידי חוקי האלקטרומגנטיות. כל תחזית שהוא עושה חייבת להיות עקבית עם חוקי קירכהוף ועם משוואת הנדנוד ליציבות תדר.

התוצאות היו מרשימות: סטייה של 0.64 MW מאמת היסוד לעומת 0.73 MW עבור המודל הבלתי-מוגבל, עם זמני הסקה מתחת ל-50 אלפיות שנייה. חשוב מכך, המודל המוגבל פיזיקלית שמר על ישימות בתרחישים קיצוניים. הוא לא יכול היה להזות מצבי רשת בלתי אפשריים מפני שהפיזיקה לא הרשתה לו.

כאשר פונקציית ההפסד של ה-AI שלכם כוללת את חוקי הפיזיקה, הזיה אינה רק בלתי סבירה — היא נענשת מתמטית.

הוויכוח הזה הסתיים כששני המהנדסים באותו צד. וזה הפך ליסוד של מה שאנו בונים כיום ב-Veriprajna.

כיצד יוצרים AI שאינו יכול לשקר לגבי פיזיקה?

לארכיטקטורה שפיתחנו יש מבנה שאני לעתים מתאר כ"סנדוויץ'" — אף שזה ממעיט בדיוק שלה.

השכבה העליונה היא נוירונית. היא מטפלת בתפיסה: קריאת נתונים לא-מובנים, חילוץ כוונה, זיהוי ישויות. אם בקשת חיבור עומס גדול מגיעה כתיק PDF בן 200 עמודים, שכבה זו מנתחת אותו לפרמטרים מובנים. היא טובה בזה. מודלי שפה גדולים באמת מצוינים במשימות תפיסה.

השכבה האמצעית היא סימבולית. כאן מתרחש ההיסק בפועל, והוא דטרמיניסטי לחלוטין. גרפי ידע מאחסנים את הקשרים בין תחנות משנה, קווי הולכה, חוזי מרכזי נתונים, ותקני התאימות של NERC. חוקים עסקיים מקודדים-קשיח — מה שאנו מכנים Policy-as-Code — מאמתים כל פרמטר שחולץ מול פיזיקת הרשת ודרישות רגולטוריות. שום כמות של הנדסת פרומפטים לא יכולה לעקוף את השכבה הזו. אם עליית עומס מוצעת מפרה את אילוץ מקרה החירום N-1 המוגדר ב-NERC TPL-001, המערכת מסמנת זאת. נקודה. אין הגדרת "טמפרטורה" שהופכת אותה ליצירתית יותר בנוגע לבטיחות.

השכבה התחתונה היא שוב נוירונית. היא לוקחת את ההחלטה המאומתת מהשכבה הסימבולית ומתרגמת אותה לשפה טבעית או לאותות בקרת מכונה. היא מתקשרת, לא חושבת.

זו הכוונה שלי בגישת "קופסה שקופה" (Glass Box). לכל החלטה יש שרשרת ציטוטים. במקום קופסה שחורה שאומרת "סמכו עליי, אני AI", המערכת שלנו אומרת: "סימנתי זאת מפני שקצב העלייה המוצע חורג מהסף המוגדר בסעיף 4.2 של הסכם החיבור, בהצלבה עם טלמטריה בזמן אמת מנתוני PMU בתחנת משנה 7."

אנשים תמיד מתנגדים לזה. "האם השכבה הסימבולית אינה סתם חוקים? האם אינכם פשוט בונים מערכת מומחה עם צעדים נוספים?" לא. השכבות הנוירוניות מטפלות בחלקים שחוקים אינם יכולים — תפיסת נתונים לא-מובנים, זיהוי דפוסים על פני אלפי משתנים, זיהוי חריגות בזמן אמת בזרמי חיישנים רועשים. השכבה הסימבולית מטפלת בחלקים שרשתות נוירוניות אינן יכולות — תאימות מובטחת, ישימות פיזיקלית, יכולת ביקורת. אף אחת מהן לבדה אינה מספיקה. יחד, הן מכסות זו את נקודות העיוורון של זו.

מה הרשת באמת צריכה כרגע?

תגובת NERC לאירוע בווירג'יניה הייתה מהירה, ולזכותם, מהותית. הם הקימו את כוח המשימה לעומסים גדולים באוגוסט 2024 והוציאו התראת המלצת תעשייה ברמה 2 בספטמבר, בקריאה לחברות החשמל לשנות מן היסוד את האופן שבו הן ממדלות, מנטרות, ומתקשרות עם עומסים גדולים.

הבעיה המרכזית ש-NERC זיהתה היא מה שהייתי מכנה חוסר נראות. מפעילי הרשת לא יכלו לראות בתוך אותם 60 מרכזי נתונים. לא הייתה להם טלמטריה בזמן אמת על לוגיקת הספירה של ה-UPS, שום נראות לגבי מתי המתקנים מתקרבים לספי הניתוק שלהם. מרכזי הנתונים היו קופסאות שחורות ששאבו גיגה-וואטים ממערכת שהתייחסה אליהם כמו לבתים גדולים במיוחד.

התפתחות טכנית אחת שמעניקה לי תקווה אמיתית היא מודל PERC1 — Power Electronic Ceasing and Reconnecting. מודלי עומס מסורתיים תוכננו עבור מנועים ותנורים, התקנים שמאטים בהדרגה במהלך תקלה. מרכזי נתונים אינם מאטים. הם מפסיקים לצרוך לחלוטין, בתוך אלפיות שנייה, באמצעות מיתוג אלקטרוני של הספק. PERC1 הוא המודל הראשון שתוכנן במיוחד לייצג התנהגות זו, והוא קריטי לכל סימולציה שרוצה לחזות מה קורה באמת במהלך אירועים כמו ה-10 ביולי.

אבל מודלים לבדם אינם מספיקים. מרכזי נתונים צריכים להפוך למשתתפים פעילים ביציבות הרשת, לא צרכנים פסיביים שמתנתקים כשהמצב נעשה לא נוח.

כאן OpenADR 3.0 — תקן תגובת הביקוש האוטומטית המודרני — נעשה חיוני. הגרסה הישנה השתמשה בהודעות XML מסורבלות עם זמני תגובה של פחות מדקה. גרסה 3.0 משתמשת בממשקי RESTful API ו-JSON עם השהיה של פחות משנייה. זה ההבדל בין "אנא הפחיתו עומס מתישהו ב-60 השניות הבאות" לבין "העבירו 50 MW של עיבוד אצווה למתקן שלכם באורגון עכשיו."

אם מרכזי נתונים היו מצמצמים רק 0.5% מצריכת החשמל השנתית שלהם בתקופות שיא, 100 GW של הספק חדש היו יכולים להתחבר לרשת בלי לבנות אף תחנת גז חדשה אחת.

יוזמת DCFlex של EPRI כבר מגייסת מרכזי נתונים לתוכניות תגובת ביקוש התנדבותיות הבנויות על הנחה זו. החשבון משכנע, אך הביצוע דורש AI שיכול להעביר עומסי עבודה חישוביים באופן דינמי בין אזורים גיאוגרפיים תוך כיבוד גם אילוצי הרשת וגם הסכמי רמת שירות. שכבת התזמור הזו — מהירה מספיק לתגובה של פחות משנייה, חכמה מספיק כדי לכבד את הפיזיקה, ובת-ביקורת מספיק עבור רגולטורים — היא בדיוק מה שהארכיטקטורה שלנו מבוססת ה-PINN תוכננה לספק.

לפירוט הטכני המלא של האופן שבו אנו משלבים PINN-ים עם הערימה הנוירו-סימבולית, ראו מאמר המחקר שלנו על ההפרעה בווירג'יניה.

מדוע הבעיה של וירג'יניה היא הבעיה של כולם

אני צריך לדבר על המחיר האנושי, מפני שלקהילה הטכנית יש נטייה לדון ביציבות הרשת באופן מופשט.

קיבולת מרכזי הנתונים של Dominion Energy צפויה לגדול מ-4 GW כיום לכמעט 40 GW בקיבולת חוזית. וירג'יניה העניקה 2.7 מיליארד דולר בסובסידיות למפעילי מרכזי נתונים בעשור האחרון. המדינה זקוקה ל-28.3 מיליארד דולר בתשתית הולכה חדשה ול-40% יותר קיבולת הולכה כדי להתמודד עם העומס הצפוי — קצב בנייה שוועדת הביקורת והבקרה החקיקתית המשותפת של המדינה עצמה מכנה "קשה מאוד להשגה."

בינתיים, מחירי הקיבולת האזוריים זינקו ב-833%. חשבונות החשמל למגורים צפויים להגיע ל-380 דולר לחודש עד 2045. מרכזי הנתונים בצפון וירג'יניה צרכו כמעט 2 מיליארד גלונים של מים לקירור בשנת 2023 — מספיק כדי לספק ל-50,000 בני אדם — ומסתמכים על כמעט 9,000 גנרטורי גיבוי בדיזל שהם, כפי שה-10 ביולי הוכיח, לא רק גיבויים אלא חלק מרכזי מהאסטרטגיה התפעולית.

משרד האנרגיה חוזה שללא התערבות משמעותית, הפסקות החשמל עלולות לזנק מ-2.4 שעות בשנה כיום ליותר מ-430 שעות עד 2030.

אני לא נגד מרכזי נתונים. החברה שלי קיימת בזכות התשתית החישובית שמתקנים אלה מספקים. אבל אני מתנגד עמוקות לרעיון שנוכל להמשיך להגדיל את כוח החישוב של ה-AI תוך שאנו מתייחסים לרשת כמו למשאב אינסופי ולבינה המלאכותית עצמה כמו לקופסת טקסט קסומה שאיכשהו תפתור את זה.

התובנה של שתיים לפנות בוקר

היה לילה — נדמה לי שזה היה בתחילת ספטמבר, עמוק בתוך הניתוח שלנו — שבו סקרתי את נתוני התדר של PJM מאירוע ה-10 ביולי. בהיתי בזינוק ל-60.047 הרץ בפעם המאה, ככל הנראה. ואז משהו התחבר שלא ניסחתי קודם לכן.

מערכות ה-UPS של מרכזי הנתונים עשו בדיוק את מה שתוכננו לעשות. הסגירה-מחדש האוטומטית של הרשת עשתה בדיוק את מה שתוכננה לעשות. מפעילי PJM עשו בדיוק את מה שהוכשרו לעשות. כל שחקן בודד התנהג נכון. הקטסטרופה צמחה מתוך האינטראקציה — מהפער בין מערכות שמעולם לא תוכננו לדבר זו עם זו.

זהו אותו אופן כשל שאני רואה בפריסות AI ארגוניות בכל מקום. ה-LLM עושה מה שהוא תוכנן לעשות — מייצר טקסט סביר. מערכת האחזור עושה מה שהיא תוכננה לעשות — מוצאת מסמכים רלוונטיים. ממשק המשתמש עושה מה שהוא תוכנן לעשות — מציג תוצאות בצורה נקייה. וכל הדבר מפיק תשובה בטוחה ומגובת-מקורות שהיא בלתי אפשרית פיזיקלית, שגויה משפטית, או הרסנית כלכלית, מפני שאף שכבה אינה אחראית לאמת יסוד.

זו הבעיה שאנו פותרים. לא בניית צ'טבוט טוב יותר. לא עטיפת פרומפט חכם יותר סביב GPT. בניית ארכיטקטורות שבהן האמת היא מבנית — שבהן הפיזיקה אינה יכולה להידחות מפני ההסתברות, שבהן הלוגיקה אינה יכולה להיות מוזה, שבהן לכל פלט יש שרשרת ציטוטים שרגולטור, מהנדס, או שופט יכולים לעקוב אחריה מהמסקנה בחזרה אל הראיות.

ההשבתה בווירג'יניה לא נגרמה בגלל מערכת שכשלה. היא נגרמה בגלל מערכות שהצליחו באופן עצמאי בדרכים שהפיקו קטסטרופה קולקטיבית. זהו אותו אופן כשל האורב בכל עוטף AI שנפרס בתשתיות קריטיות כיום.

לאן זה הולך מכאן

אהיה ישיר לגבי מה שאני חושב שמגיע.

עידן עוטף ה-LLM הסתיים עבור כל דבר שחשוב. עבור יצירת פוסטים לבלוג וסיכום פגישות, מילא — עוטפים יתמידו וישתפרו. אבל עבור מערכות שבהן לתשובות שגויות יש השלכות פיזיות — רשתות חשמל, תאימות פיננסית, מכשור רפואי, הנדסת מבנים — התעשייה תתפצל. נתיב אחד מוביל לשרשראות פרומפט משוכללות יותר ויותר העטופות סביב מודלים הסתברותיים, עם "מעקות בטיחות" שהם עצמם הסתברותיים. הנתיב האחר מוביל לארכיטקטורות היברידיות שבהן תפיסה נוירונית מזינה היסק דטרמיניסטי, המוגבל על ידי החוקים האמיתיים השולטים בתחום.

אני יודע על איזה נתיב אני בונה. הרשת של וירג'יניה לא הייתה זקוקה ל-AI רהוט יותר. היא הייתה זקוקה ל-AI שהבין, ברמת המשוואות הדיפרנציאליות, מה קורה כאשר 1,500 MW של עומס נעלמים ב-82 שניות. היא הייתה זקוקה ל-AI שיכול היה לראות את לוגיקת הספירה באותן מערכות UPS מתקתקת לעבר ניתוק, ולהתערב — לא בהצעה, אלא באות בקרה מאומת-פיזיקה שנשלח בפחות מאלפית שנייה.

אמינות אספקת החשמל היא כעת משתנה ברמת הדירקטוריון. בפעם הבאה שהרשת תהבהב בצפון וירג'יניה — וזה יקרה, מפני שהעומס גדל פי עשרה מהר יותר מקיבולת ההולכה — השאלה לא תהיה האם ה-AI היה מעורב. היא תהיה האם ה-AI הבין פיזיקה, או שרק חזה את הטוקן הבא.