ה-AI זיהה שיטפון שלא היה קיים — וזה עלה הון

בהיתי בתמונת לוויין של כביש מהיר בדרום-מזרח אסיה כשחשתי לראשונה את סוג האימה המסוים שנובע מהתבוננות ב-AI שמבצע בביטחון מלא טעות קטסטרופלית.

התמונה הראתה צורה כהה ולא סדירה שהשתרעה על פני האספלט — מים ללא כל ספק, לפחות מבחינת המודל. המערכת סימנה זאת כשיטפון. ניתוב מחדש אוטומטי נכנס לפעולה. חמישים משאיות הוסטו לכבישים משניים, והוסיפו מעל מאה קילומטרים לכל אחת ממסעותיהן. חלונות המסירה קרסו. מטען מתכלה החל להתקלקל. הנזק הכספי טיפס מעבר לשש ספרות לפני שמישהו חשב לבדוק.

הכביש היה יבש לחלוטין.

מה שהמודל ראה — מה שהוא היה בטוח שראה — היה צל של ענן. ענן קומולוס שנסחף בגובה אלפיים מטרים, המטיל כתם כהה על הקרקע שנראה, בעיני AI שמעבד פריים לווייני בודד, בדיוק כמו מים עומדים. לכך אני קורא כעת כשל היסק מפריים-בודד: הרגע שבו AI, לכוד ברגע קפוא אחד ללא כל זיכרון של מה שקדם או מה שבא אחריו, הוזה מציאות שאינה קיימת. וזה אינו מקרה קצה נדיר. זוהי הפגיעוּת המכוננת של כמעט כל מערכת ראייה ממוחשבת שפרוסה כיום לזיהוי שיטפונות.

אותו אירוע הפך לסיבה שבגללה קיים הצוות שלי ב-Veriprajna. לא כדי לבנות עוד מעטפת סביב מודל מאומן-מראש, אלא כדי לבנות משהו שבאמת מבין במה הוא מתבונן.

מדוע AI מבלבל בין צללים למים?

התשובה היא פיזיקה, והיא פשוטה עד כדי מבוכה ברגע שרואים אותה.

לוויינים אופטיים — Sentinel-2, Landsat, אלה שרוב מערכות זיהוי השיטפונות מסתמכות עליהם — קולטים אור שמש מוחזר על פני אורכי גל שונים. מים סופגים בעוצמה רבה קרינה קרובת-אינפרא-אדום וקרינת אינפרא-אדום גלים-קצרים. לכן בצילומי לוויין, מים נראים כהים.

אבל למים אין מונופול על החושך. צללי עננים כהים. צללי שטח ממדרונות תלולים כהים. אספלט טרי כהה. ולרשת עצבית קונבולוציונית שאומנה על תמונות סטטיות, ״צורה כהה חסרת מתאר עם קצוות רכים״ היא החתימה של שיטפון. המודל אינו יודע מדוע הפיקסלים כהים. הוא יודע רק ש הם כהים.

והנה מה שמחמיר את המצב: בתרחישי מענה לאסונות, מודלים אלה מכוונים בכוונה תחילה להיות ״מהירי-הדק״. פונקציות ההפסד מענישות על החמצת שיטפונות הרבה יותר מאשר על התראות שווא. לכן המודל שוגה לכיוון הפאניקה. כל צל הופך לקטסטרופה פוטנציאלית.

צל של ענן נע במהירות הרוח. מי שיטפון מצייתים לכוח הכבידה ולתוואי השטח. אבל מודל של פריים בודד אינו יכול להבחין ביניהם משום שמעולם לא ראה אף אחד מהם נע.

מחקרים מאשרים שזה אינו תיאורטי. צללי עננים מתועדים כ״אתגר הגדול ביותר״ בזיהוי שיטפונות אוטומטי בזמן כמעט-אמת באמצעות צילומי לוויין אופטיים. במאגרי נתונים ברזולוציה גבוהה, צללים מופיעים לעיתים קרובות כמאפיינים מנותקים — מופרדים מהענן שהטיל אותם — מה שהופך שיטות תיקון גיאומטריות לבלתי אמינות, במיוחד כאשר גובה הענן אינו ידוע.

הלילה שבו שברנו את המודל שלנו

אני רוצה להיות כן לגבי משהו. כשהתחלנו לראשונה לבנות זיהוי שיטפונות ב-Veriprajna, עשינו את אותה הטעות שכולם עושים. לקחנו ארכיטקטורת סגמנטציה מוצקה, כיווננו אותה בעדינות על צילומי שיטפונות מתויגים, וקיבלנו מספרים שנראו נהדר על סט האימות. דיוק מעל 90%. היינו נרגשים.

ואז פרסנו אותו על הזנת Sentinel-2 חיה מעל אזור נוטה-מונסונים בהודו.

בשבוע הראשון, הוא סימן אחד-עשר שיטפונות. שלושה היו אמיתיים. השאר היו צללים, שדות חקלאיים כהים לאחר השקיה, ומקטע אחד של כביש שזה עתה נסלל. המהנדס הראשי שלי התקשר אליי בחצות, מתוסכל, ואמר שהמודל ״רואה מים בכל מקום כמו מוט מים.״

בילינו את היומיים הבאים בבדיקה ידנית של כל תוצאה חיובית-שגויה. וחזרנו שוב ושוב לאותה תובנה: למודל לא היה מושג של זמן. הוא הביט בכל פריים כמו בתצלום שנשלף מגליל התמונות של זר — ללא הקשר, ללא לפני, ללא אחרי. אנליסט אנושי, מול אותו כתם כהה, היה עובר באופן אינסטינקטיבי לתמונה הקודמת. הוא היה צופה בצורה הכהה נסחפת מזרחה במהירות חמישים קילומטרים לשעה וחושב, זהו צל של ענן, לא שיטפון. המודל שלנו לא היה מסוגל לכך. לא היה לו זיכרון.

זו הייתה נקודת המפנה. הפסקנו לנסות לבנות מסווג פריים-בודד טוב יותר והתחלנו להנדס משהו שונה מהותית: מערכת שמתייחסת לזמן כאל ממד של המציאות, לא כאל משתנה מטריד.

כתבתי בהרחבה על השינוי הארכיטקטוני הזה בגרסה האינטראקטיבית של המחקר שלנו.

מה קורה כשנותנים ל-AI זיכרון?

אנליסט אנושי מאמת שיטפון חשוד באמצעות המתנה. הוא בודק את התמונה הבאה. הוא מריץ אחורה. צל של ענן משתנה ונעלם בתוך דקות. מי שיטפון נמשכים שעות או ימים, ומתפשטים לאט בהתאם לכוח הכבידה ולהתנגדות תוואי השטח.

עקביות זמנית היא אמת-היסוד שהיסק מפריים-בודד משליך לפח.

ב-Veriprajna, הקלט שלנו אינו תמונה. הוא טנזור של נתוני סדרות-זמן — רצף של פריימים שבו המודל צופה בפיקסלים מתפתחים. אנו משתמשים ברשתות עצביות קונבולוציוניות תלת-ממדיות, שבהן לגרעין הקונבולוציה יש ממד זמני. במקום להחליק על פני הגובה והרוחב, הוא מחליק על פני הגובה, הרוחב, והזמן.

האפקט עמוק. פיקסל שהוא בהיר, אחר כך כהה, ואז בהיר שוב מסומן כחריגה חולפת — צל שחולף. פיקסל שעובר מצמחייה למים ונשאר מים פריים אחר פריים מסווג כשיטפון. הגרדיאנט הזמני מספר את הסיפור שפריים בודד לעולם לא יכול היה לספר.

עבור דפוסים ארוכי-טווח יותר — שיטפון שמתפתח על פני ימים, לא דקות — אנו משלבים רשתות LSTM קונבולוציוניות. אלה משמרות את המבנה המרחבי של הצילומים (בניגוד ל-LSTM סטנדרטיות שמשטחות הכול לוקטורים חד-ממדיים) תוך שמירה על ״זיכרון״ של מצב השיטפון. שער השכחה משליך רעש חולף. שער הקלט מכניס שינוי מתמשך. המודל לא רק אומר ״יש שיטפון.״ הוא יכול לחזות ״יתרחש שיטפון כאן בעוד שעתיים,״ ומעניק למפעילי לוגיסטיקה זמן-הקדמה אמיתי.

כשהוספנו עומק זמני, שיעור התוצאות החיוביות-השגויות שלנו בסיווג שגוי של צללים צנח ב-85%. לא משום שבנינו מסווג טוב יותר — אלא משום שהפסקנו לשאול את השאלה הלא-נכונה.

אנו גם מדמים את התפשטות השיטפון לאורך רשתות כבישים באמצעות רשתות קונבולוציה גרפיות מרחביות-זמניות. כבישים אינם רשתות פיקסלים; הם גרפים מחוברים. אם צומת במעלה הזרם מוצף, הרשת לומדת להגדיל את הסתברות השיטפון בצמתים שבמורד הזרם בהתבסס על גרדיאנטים של גובה וקיבולת ניקוז — עוד לפני שהמים מופיעים בצילומי הלוויין. הדבר מאפשר לנו לשלב קריאות של מד-נהר, נתוני מהירות תנועה ותחזיות מזג-אוויר ישירות אל תוך צינור ההיסק החזותי.

הרדאר שרואה דרך העננים

והנה האירוניה האכזרית של זיהוי שיטפונות: שיטפונות מגיעים עם סערות, וסערות מגיעות עם עננים. אותם התנאים ממש שגורמים לשיטפון הם התנאים שמסמאים את הלוויינים האופטיים.

כאן מיזוג חיישנים הופך לבלתי ניתן למשא ומתן. רדאר מפתח סינתטי — SAR — הוא חיישן אקטיבי. הוא פולט פולסי מיקרוגל משלו ומאזין להד. מיקרוגלים חודרים דרך עננים, גשם ועשן. הם פועלים יום ולילה. וחשוב מכול, הם מתקשרים עם מים באופן שונה מאשר אור אופטי.

צל של ענן בלתי נראה לרדאר. הרדאר מספק תאורה משלו — לא אכפת לו מה השמש עושה. לכן כשהחיישן האופטי רואה חושך והרדאר רואה משטח מחוספס ויבש עם פיזור-חוזר גבוה, התשובה ברורה: צל. כששני החיישנים מסכימים על משטח חלק ומראתי עם פיזור-חוזר נמוך, התשובה ברורה באותה מידה: מים.

פשוט בעיקרון. מורכב באכזריות ביישום.

מדוע אי אפשר פשוט למצע שני חיישנים יחד?

זו השאלה שאני מקבל לרוב, והתשובה חושפת מדוע רוב גישות ה״מיזוג״ הן הצגה.

אי אפשר לערום ערוצים אופטיים ו-SAR לתוך טנזור-קלט אחד ולקוות שהרשת תבין זאת לבד. ההתפלגויות הסטטיסטיות שונות מהותית — ערכי פיקסל RGB לעומת מדידות פיזור-חוזר בדציבלים. אי אפשר לאמן מודלים נפרדים ולמצע את מפות ההסתברות שלהם, משום שכך מפספסים את האינטראקציות ברמת המאפיינים, המקום שבו מתרחשת ההבחנה האמיתית.

מה שבנינו במקום זאת הוא מנגנון קשב חוצה-מודאלי. המקודד האופטי והמקודד של SAR מחלצים מאפיינים באופן עצמאי דרך זרמים מקבילים. אז, בקני-מידה מרובים, בלוק קשב-צולב מאפשר לכל מודאליות ״להקשיב״ לאחרת. המודל מחשב, פיקסל אחר פיקסל, איזה חיישן אמין יותר כרגע.

כשהמאפיינים האופטיים מציגים את טביעת-האצבע הסטטיסטית של רעש עננים — שונות גבוהה, מתאם ספקטרלי נמוך — שער הקשב מסיט משקל לעבר אות הרדאר. בסביבות עירוניות שבהן SAR מתקשה עם ארטיפקטים של ריבאונד-כפול ממבנים, השער מסתובב חזרה אל הנתונים האופטיים. זה אינו מיצוע. זו בחירת מקור דינמית.

ה-AI אינו ממזג נתונים. הוא בוחר באופן אקטיבי לאיזה חיישן להאמין, עבור כל פיקסל, בכל פריים.

בעיה מעשית אחת שהיינו צריכים לפתור: Sentinel-1 ו-Sentinel-2 אינם חולפים מעל אותה נקודה באותו זמן. כאשר שיטפון מתרחש במהלך סערה ורק נתוני SAR זמינים, אנו משתמשים ברשת יריבה גנרטיבית כדי לסנתז כיצד המבט האופטי היה נראה בהתבסס על החזר הרדאר. אין המדובר בבדיית נתונים — אלא במתן מסגרת-ייחוס פרשנית לאנליסטים אנושיים, שכן צילומי רדאר גולמיים ידועים לשמצה כקשים לקריאה אינטואיטיבית.

לפירוט הטכני המלא של ארכיטקטורת המיזוג ומתודולוגיית האימון שלנו, ראו מאמר המחקר שלנו.

הוויכוח שכמעט פילג את הצוות שלי

היה שבוע, בהתחלה, שבו הצוות שלי היה מפולג באמת. חצי רצו להתמקד אך ורק במידול זמני — כשהטענה היא שאם יש מספיק פריימים לאורך זמן, אפשר להבחין בין צללים למים באמצעות נתונים אופטיים בלבד. החצי השני טענו שנתונים זמניים חסרי תועלת כשיש חמישה פריימים מעוננים רצופים — וזה בדיוק מה שקורה במהלך השיטפונות שהכי צריך לזהות.

הוויכוח התלהט. מהנדסת אחת שלפה צילומים מעונת המונסון מעל בנגלדש והראתה שנים-עשר ימים רצופים שבהם Sentinel-2 קלט אך ורק פסגות עננים. ״המודל הזמני שלך צופה בעננים מתפתחים,״ היא אמרה. ״אין לו מושג מה קורה על הקרקע.״

היא צדקה. וגם מחנה הזמן צדק — כאשר אתה כן יכול לראות את הקרקע, הזמן הוא המבחין החזק ביותר הקיים.

הפתרון לא היה פשרה. הוא היה ההבנה ששתי הגישות חלקיות לבדן ומהפכניות יחד. מידול מרחבי-זמני מטפל במקרים שבהם יש נראוּת אופטית לסירוגין. מיזוג SAR מטפל במקרים שבהם האופטיקה חסומה לחלוטין. ומנגנון הקשב-הצולב לומד, באופן דינמי, באיזה שילוב של ראיות לתת אמון.

קראנו לצינור המשולב Chronos-Fusion. הוא מעבד נתוני SAR של Sentinel-1 ונתונים אופטיים של Sentinel-2 דרך מקודדי זרם-כפול, ממזג אותם באמצעות קשב-צולב בקני-מידה מרובים, מפענח דרך רשת דה-קונבולוציה תלת-ממדית, ואוכף עקביות זמנית באמצעות פונקציית הפסד שמענישה על תחזיות בלתי אפשריות פיזיקלית — כמו מים שמופיעים ונעלמים בשניות, או שמצטברים על מדרון של 45 מעלות.

מדדי הביצוע הפנימיים שלנו מספרים את הסיפור:

• בסיס ייחוס סטטי אופטי-בלבד: ~0.65 mIoU (ממוצע Intersection over Union)
• בסיס ייחוס סטטי SAR-בלבד: ~0.70 mIoU
• Chronos-Fusion מרחבי-זמני: >0.91 mIoU
• עקביות זמנית: 96% יציבות מגמה — ללא הבהובים, ללא שיטפונות רפאים

ומה עם קהל ה״פשוט תשתמשו במודל יסוד״?

אני שומע זאת כל הזמן. משקיע אמר לי בשנה שעברה, בכנות מוחלטת, ״אי אפשר פשוט לכוונן את SAM על כמה תמונות שיטפון ולשלוח את זה?״ SAM — מודל Segment Anything — הוא טכנולוגיה מרשימה. אבל הוא מנוע סגמנטציה כללי. הוא אינו מבין שמים סופגים קרינה קרובת-אינפרא-אדום. הוא אינו יודע שפיזור-חוזר של רדאר יורד כשמשטח הופך מראתי. הוא מעולם לא למד שצללים נעים עם הרוח בעוד ששיטפונות מצייתים לכוח הכבידה.

גישות מעטפת אלה — קחו מודל מאומן-מראש, כווננו על מאגר נתונים מתויג קטן, פרסו — מייצרות הדגמות מרשימות. הן מקבלות ציונים טובים על סטי אימות אצורים. והן נכשלות בסביבת ייצור משום שהעולם האמיתי הוא יריב בדרכים שמאגרי נתונים נקיים אינם.

המודל המאומן-מראש אינו יודע ששדה כהה בפנג'אב לאחר השקיה נראה ספקטרלית זהה לשיטפון רדוד. הוא אינו יודע שענני מונסון בקראלה יכולים להתמיד שבועות, מה שהופך זיהוי אופטי-בלבד לחסר תועלת לאורך כל משך האירוע. הוא אינו יודע שצילומי SAR עירוניים במומבאי מייצרים ארטיפקטים של ריבאונד-כפול ממבנים שמחקים חתימות של מים.

AI-מעטפת יורש כל כשל של העיבוד-המקדים שלפניו. אם מסכת העננים מחמיצה צל, מודל הסגמנטציה יתייג אותו בביטחון כשיטפון. זבל נכנס, זבל בטוח יוצא.

ההבחנה בין AI-מעטפת לבין מה שאנו בונים אינה אקדמית. זהו ההבדל בין מערכת שעובדת בהדגמה לבין מערכת שעובדת כשהמונסון מכה.

העלות האמיתית אינה המשאיות שנותבו מחדש

פתחתי מסה זו בדוגמה לוגיסטית משום שהנזק הכספי מוחשי ומיידי. אבל העלות העמוקה יותר היא אמון.

כאשר למערכת זיהוי שיטפונות יש שיעור התראות-שווא גבוה, מפעילים אנושיים מפסיקים להאמין לה. הם מתחילים לאמת ידנית כל התראה, ומחזירים את ההשהיה שה-AI היה אמור לחסל. מגיבי חירום מפתחים את מה שחוקרים מכנים עייפות התראות — דינמיקת ״הזאב בא״ שבה אזהרות לגיטימיות מתעכבות או מתעלמים מהן משום שחמש האחרונות היו צללים.

במענה לאסונות, זה נמדד בחיי אדם. הפצת צוותי חיפוש והצלה למיקום יבש — צל של ענן — מותירה נפגעי שיטפון אמיתיים ממתינים. מחקרים מראים שמיטוב ״המייל האחרון״ של חלוקת הסיוע הוא קריטי, ואותות ביקוש שגויים פוגמים ביחס התועלת-עלות של המבצע כולו.

בביטוח פרמטרי, שבו פוליסות מופעלות אוטומטית על בסיס נתוני לוויין (״זוהה שיטפון בטווח 500 מטרים מנכס X״), דיוק הוא מטבע משפטי. תוצאה חיובית-שגויה מפעילה תשלום בלתי מוצדק. תוצאה שלילית-שגויה שוללת תביעה לגיטימית. המערכת שלנו מתעדת לא רק את תווית השיטפון אלא את שרשרת הראיות המרחבית-זמנית: המים נמשכו שש שעות, פיזור-חוזר של רדאר אישר שינוי בחספוס המשטח, ניתוח זמני שלל צל. זהו מסלול-ביקורת פורנזי, לא ציון הסתברות.

כיצד מאמנים AI להבין פיזיקה שהוא אינו יכול לראות?

אנשים שואלים אותי זאת, והתשובה הכנה היא: אתה לא מאמן אותו על פיזיקה ישירות. אתה מאמן אותו על ארכיונים עצומים של נתוני לוויין בסדרות-זמן שבהם הפיזיקה מובלעת.

אנו משתמשים בלמידה עצמית-פיקוח על צילומים לא-מתויגים. המודל רואה רצף של פריימים כשהאחרון בהם מוסתר, ועליו לחזות מה בא אחריו. דרך מיליוני תחזיות כאלה, הוא לומד שעננים נעים מהר ומים נעים לאט. הוא לומד שלצללים יש גרדיאנטים זמניים חדים ולשיטפונות יש גרדיאנטים הדרגתיים. הוא לומד את הפיזיקה של השינוי מבלי שאי פעם סיפרו לו על חוקי ניוטון.

לאחר מכן אנו מכווננים על מאגרי הנתונים המתויגים הטובים ביותר הזמינים — Sen1Floods11 עם 4,831 צ'יפים מתויגים על פני 11 אירועי שיטפון גלובליים, WorldFloods עם 159 אירועי שיטפון שלוכדים מורפולוגיות מגוונות, AllClear עם 4 מיליון תמונות להסרת עננים וצללים, UrbanSARFloods המתמחה בסיוט של סביבות עירוניות. אף מאגר נתונים בודד אינו מספיק. כל אחד נושא הטיות תיוג משלו, ואימון על כולם מכריח את המודל להכליל במקום לשנן.

הצל אינו המים

אני חוזר שוב ושוב לתמונה הראשונה ההיא. הצורה הכהה על הכביש המהיר. התווית האדומה הבוטחת: שיטפון. חמישים המשאיות שכבר נותבו מחדש עד שמישהו הטיל בכך ספק.

הבעיה מעולם לא הייתה שה-AI טיפש. הבעיה הייתה שביקשנו ממנו להבין עולם ארבע-ממדי מתוך התבוננות בתמונת-בזק דו-ממדית. נתנו לו תצלום וביקשנו ממנו לספר לנו סיפור. כמובן שהוא הזה.

עידן ההיסק מפריים-בודד להחלטות תשתית קריטיות הסתיים. שינוי האקלים מאיץ את תדירות אירועי מזג-האוויר הקיצוני — ואת כיסוי העננים שמלווה אותם. מערכות שמתעוורות כשיורד גשם אינן זהירות. הן מיושנות.

מה שאנו בונים ב-Veriprajna אינו מסווג טוב יותר. זהו סוג אחר של ראייה. אנו צופים בזרימת הזמן. אנו ממזגים את הספקטרום האלקטרומגנטי. אנו מדמים את הפיזיקה של איך מים באמת מתנהגים על תוואי השטח, לא איך פיקסלים כהים מתקבצים ב-JPEG. כאשר מודל המעטפת ראה כביש מוצף ונכנס לפאניקה, המערכת שלנו בדקה את הרדאר, הריצה את הסרט אחורה, אימתה עקביות זמנית, ופינתה את המסלול.

הצל אינו המים. אבל לעולם לא תדע את ההבדל אם תסתכל רק פעם אחת.