קנס של 2.5 מיליון דולר חשף מה באמת לא בסדר ב-AI בהלוואות — וזה לא מה שאתם חושבים
ישבתי במשרד הביתי שלי בערב יום חמישי ביולי 2025, גוללתי בהודעה לעיתונות של התובע הכללי של מסצ'וסטס בנוגע ל-Earnest Operations, כשהרגשתי משהו שלא ציפיתי לו: הקלה.
לא משום שמלווה נקנס ב-2.5 מיליון דולר על אפליה מונעת-AI נגד לווים שחורים והיספנים. זה היה מקומם. ההקלה הגיעה ממשהו אחר — הספציפיות של האישומים. משרד התובע הכללי לא אמר סתם "ה-AI שלכם מוטה". הם נקבו במשתנה המדויק. הם התחקו אחר המנגנון המדויק. הם הראו, בפירוט קפדני, כיצד נתון שנראה ניטרלי — שיעור כשל הפירעון של המחזור (Cohort Default Rate) של המכללה שבה למד הלווה — הפך לצינור לאפליה גזעית שנצרבה בקוד.
במשך שנים, הצוות שלי ב-Veriprajna ואני טענו שהדרך שבה רוב חברות הפינטק מטמיעות AI בהלוואות שבורה מבחינה ארכיטקטונית. לא רק מפוקפקת מבחינה אתית — חסרת יכולת מבנית להוגנות. הסדר הפשרה של Earnest היה פעולת האכיפה המשמעותית הראשונה שהוכיחה שצדקנו, בשפה שהרגולטורים באמת משתמשים בה.
וזו לא תהיה האחרונה.
המשתנה שנראה תמים
הנה מה ש-Earnest עשתה, ואני רוצה שתשהו עם זה רגע, כי זה עדין יותר מ"האלגוריתם היה גזעני".
Earnest בנתה מודל מבוסס-AI למחזור הלוואות סטודנטים. אחד הקלטים היה שיעור כשל הפירעון של המחזור, או CDR — מדד שעוקב אחר תדירות כשל הפירעון של בוגרי מוסד לימודים ספציפי בהלוואות הפדרליות שלהם. על הנייר, זה נשמע סביר. מוסדות עם שיעורי כשל גבוהים אולי מייצרים לווים שמתקשים להחזיר. למה שלא תיקחו את זה בחשבון?
משום שה-CDR אינו מודד כשירות אשראי אינדיבידואלית. הוא מודד תוצאות מוסדיות. והתוצאות הללו מעוצבות על ידי עשורים של תת-מימון שיטתי, פערי הון בין-דוריים והפרדה גזעית בהשכלה הגבוהה. מכללות ואוניברסיטאות היסטוריות לשחורים (HBCU) נושאות CDR גבוה יותר לא משום שבוגריהן מוכשרים פחות, אלא משום שהמערכת נתנה למוסדות הללו — ולסטודנטים שלהם — פחות לעבוד איתו.
כשאתם מענישים אדם בגין ההיסטוריה הסטטיסטית של המוסד שלו, אינכם חוזים סיכון. אתם מנציחים אותו.
התובע הכללי של מסצ'וסטס טען שכוח החיזוי של ה-CDR לא נבע מאות כלשהו לגבי הלווה, אלא מהמתאם שלו עם גזע ומעמד סוציו-אקונומי. בוגר שחור של HBCU עם היסטוריית אשראי ללא רבב, הכנסה יציבה ואפס תשלומים שהוחמצו היה מקבל ניקוד נמוך יותר מבוגר לבן של מכללה ציבורית ממומנת היטב — בגלל היכן שלמד, ולא בגלל מה שעשה אחר כך.
אני זוכר שפתחתי את מסמכי הפשרה והקראתי אותם בקול לשותפתי המייסדת בטלפון. "היו להם גם כללי נוקאאוט", אמרתי. "שערים מקודדים-קשיח שדחו אוטומטית כל מי שלא היה לו לפחות גרין קארד". הייתה שתיקה ארוכה. "אז ההטיה הייתה בארכיטקטורה כבר מההתחלה", היא אמרה. כן. מהשורה הראשונה של עץ ההחלטה.
למה אף אחד לא תפס את זה?
זה החלק שהשאיר אותי ער באותו לילה. ל-Earnest הייתה מדיניות פנימית. היו להם דרישות פיקוח על מודלים. היו להם תהליכי סקירה בכירים עבור חריגים.
שום דבר מזה לא עבד.
החקירה חשפה שחתמים עקפו את המודל באופן שגרתי או יישמו סטנדרטים שרירותיים ללא תיעוד. אמצעי ההגנה של "אדם בלולאה" — הדבר שכל חברת AI מצביעה עליו כשהרגולטורים דופקים בדלת — היה תיאטרון. לא היה תיעוד עקבי. לא הייתה סקירה עצמאית. לא היה מסלול ביקורת שיכול היה לומר לך מדוע התרחשה עקיפה מסוימת.
ראיתי את הדפוס הזה כל כך הרבה פעמים שנתנו לו שם פנימי: קוספליי ממשל. למוסד יש את כל המדיניות הנכונה על הנייר. תרשים הארגון מציג צוות ציות. מצגת הדירקטוריון מזכירה "AI אחראי". אבל כשפותחים את מכסה המנוע, אין שום מנגנון שמחבר את המדיניות לקוד. האלגוריתם רץ ביקום אחד; מסגרת הממשל קיימת ביקום אחר.
המקרה של Earnest הבהיר זאת במפורש. גם הטיה אלגוריתמית וגם הטיה אנושית לא מנוטרת התקיימו יחד באותה מערכת, מה שהפך אותה — כפי שכתבתי בניתוח האינטראקטיבי שלנו של המקרה — לבלתי אפשרית לביקורת ולהגנה מיסודה.
מה קורה כשהפער הוא 29 נקודות אחוז?
אם Earnest היה מקרה האזמל — מדויק, ברמת המשתנה, בר-מעקב — אז Navy Federal Credit Union הוא הפטיש הכבד.
ב-2022, Navy Federal, איגוד האשראי הגדול ביותר בארצות הברית, אישרה כ-77% ממבקשי המשכנתאות הקונבנציונליות הלבנים. ולמבקשים שחורים? 48.5%. זהו פער של כמעט 29 נקודות אחוז — הרחב ביותר מבין 50 מלווי המשכנתאות הגדולים במדינה.
ההגנה של Navy Federal הייתה צפויה: "נתוני HMDA הציבוריים אינם כוללים ציוני אשראי או מזומן זמין. אי אפשר להסיק מסקנות בלי התמונה המלאה". זו אותה הגנה שכל מוסד נאחז בה. וייתכן שהיא הייתה עובדת לפני עשור.
הפעם היא לא עבדה. כשחוקרים עצמאיים נטרלו יותר מתריסר משתנים — הכנסה, יחס חוב להכנסה, שווי נכס, מאפייני שכונה — מבקשים שחורים עדיין היו בסיכוי גבוה ביותר מפי שניים להידחות בהשוואה למבקשים לבנים עם פרופילים זהים.
אני זוכר שהצגתי את המספרים האלה בכנס פינטק בשנה שעברה. אחד מהקהל — סמנכ"ל סיכונים אצל מלווה בינוני — הרים יד ואמר: "אבל אולי יש משהו בנתונים שאנחנו לא רואים. איזה גורם לגיטימי". שאלתי אותו: "אם המודל שלך מייצר פער גזעי של 29 נקודות שנמשך גם אחרי נטרול כל משתנה שאתה יכול לנקוב בשמו, באיזה שלב אתה מפסיק לחפש הסברים תמימים ומתחיל להסתכל על המודל?"
לא הייתה לו תשובה. לרוב התעשייה אין.
במאי 2024, שופט פדרלי קבע שתביעות בגין השפעה מפלה נגד Navy Federal יכולות להתקדם לשלב גילוי המסמכים. משמעות הדבר היא שהתובעים יוכלו לבחון את הלוגיקה הפנימית של אלגוריתם החיתום של איגוד האשראי. עידן "המודל שלנו קנייני ומורכב מדי מכדי להסביר אותו" הסתיים.
פער סטטיסטי כשלעצמו מספיק כיום כדי לשרוד בקשה לסילוק על הסף. נטל ההוכחה עבר: הוכיחו שהתהליך שלכם הוגן, או התמודדו עם גילוי מסמכים.
למה עוטפי LLM ממשיכים להיכשל במבחן ההוגנות?
כאן אני צריך להיות בוטה לגבי משהו שהרבה אנשים ב-AI לא רוצים לשמוע.
הארכיטקטורה הדומיננטית ב-AI של פינטק כרגע — מה שאני מכנה מודל ה"עוטף" (wrapper) — חסרה יכולת מבנית לעמוד בתקנים הרגולטוריים שכבר קיימים, שלא לדבר על אלה שיגיעו ב-2026.
עוטף לוקח את הנתונים שלכם, מעביר אותם למודל שפה גדול של צד שלישי כמו GPT-4 או Gemini, ומחזיר פלט. זה מהיר לבנייה. זה עושה הדגמות יפהפיות. וזו פצצת זמן של ציות.
מודלי שפה גדולים חוזים את הטוקן הבא ברצף. הם לא מאחזרים עובדות. הם לא מבצעים חישובים אקטואריים. הם לא מבצעים היסק סיבתי. כשאתם מבקשים ממודל שפה גדול להעריך בקשת הלוואה, הוא מייצר טקסט שנשמע כמו הערכת אשראי. אבל הוא עלול לבדות הצדקה לדחייה שאין לה שום בסיס בתיק האמיתי של המבקש. התעשייה קוראת לזה הזיה. הרגולטורים קוראים לזה הפרה.
ה-CFPB היה חד-משמעי: נותני אשראי חייבים לספק "נימוקים מדויקים וספציפיים" לפעולות שליליות. אינכם יכולים לומר למבקש שנדחה "האלגוריתם החליט", או לצטט קטגוריה מעורפלת כמו "היסטוריית רכישות" כשהטריגר האמיתי היה נתון לא-מסורתי שהמודל נאחז בו. "האלגוריתם החליט" אינה אמירה שניתן להגן עליה משפטית — הלשכה אמרה זאת במפורש.
ויש בעיה עמוקה יותר. מודלי שפה גדולים מאומנים על האינטרנט. האינטרנט רווי בהטיות היסטוריות — גזעיות, מגדריות, סוציו-אקונומיות. כשהעוטף שלכם משתמש במודל שפה גדול כדי "להעריך" את היסטוריית התעסוקה או הנרטיב של לווה, המודל עשוי ליישם סטריאוטיפים המוטמעים בנתוני האימון שלו. לאומים מסוימים, מקצועות מסוימים, מיקודים מסוימים נושאים משקל בלתי נראה במרחב הלטנטי של המודל. לא משום שמישהו תכנת הטיה פנימה. משום שנתוני האימון הם ההטיה.
בשלב מוקדם היה לי ויכוח על כך עם משקיע. הוא אמר: "פשוט תשתמש ב-GPT עם פרומפט טוב. אתה מסבך את זה יותר מדי". פתחתי הדגמה שבה הזנו את אותה בקשת הלוואה דרך עוטף בשתי גרסאות — אחת עם שם המזוהה כשם של אדם לבן, אחת עם שם המזוהה כשם של אדם שחור. הפלטים לא היו זהים. הטון השתנה. שפת הסיכון השתנתה. לא בצורה דרמטית. בעדינות. סוג העדינות שבקנה מידה של מיליוני החלטות מייצר פער של 29 נקודות.
הוא הפסיק להתווכח.
מה "Deep AI" באמת אומר?
אני משתמש במונח "Deep AI" לא כשיווק — אם כי אני מבין את הספקנות — אלא כהבחנה טכנית ממה שרוב התעשייה בונה.
מערכת Deep AI להלוואות אינה קוראת למודל יחיד ומחזירה תשובה. זו ארכיטקטורה רבת-שכבות שבה סוגים שונים של אינטליגנציה מטפלים בסוגים שונים של החלטות, וכל שכבה ניתנת לביקורת.
מנועי כללים דטרמיניסטיים מטפלים בדברים שחייבים להיות נכונים ב-100% — דרישות תושבות, ספי רגולציה, בדיקות ציות קשיחות. אלה אינם הסתברותיים. הם לוגיקה. הם לא מייצרים הזיות.
מודלים מבוססי הגברת גרדיאנט כמו XGBoost מטפלים בניקוד אשראי מובנה — סוג הנתונים הטבלאיים שבהם פרשנוּת ויציבות חשובות יותר משטף לשוני. המודלים האלה משעממים. הם גם אמינים, ניתנים להסבר, ומוכרים היטב לרגולטורים.
מודלי שפה גדולים מכווננים משמשים — אך רק למה שהם באמת טובים בו: חילוץ ישויות ממסמכים לא מובנים, ניתוח דוחות מס, קריאת דפי חשבון בנק. והם מעוגנים באמצעות Retrieval-Augmented Generation, כלומר המודל יכול להתייחס רק למסמכים האמיתיים של המבקש, ולא לאסוציאציות המעורפלות של נתוני האימון שלו.
מעל כל זה יושבת שכבת ניטור רציף שעוקבת אחר סחיפת מודל, סחיפת הטיה ושיעורי הזיות בזמן אמת. כאשר יחס ההשפעה המפלה (Disparate Impact Ratio) — היחס בין שיעורי האישור של קבוצות מוגנות לקבוצות ביקורת — יורד מתחת לסף 0.8 (כלל ארבע החמישיות שהרגולטורים משתמשים בו כנורה אדומה), המערכת מתריעה עוד לפני שתלונה אנושית כלשהי צצה.
זה לא שאיפתי. בנינו את זה משום שהחלופה — העוטף, הקופסה השחורה, קוספליי הממשל — ממשיכה לייצר הסדרי פשרה כמו של Earnest ותביעות כמו של Navy Federal.
איך באמת מהנדסים הוגנות לתוך מודל?
אנשים שואלים אותי את זה כל הזמן, ואני חושב שהם מצפים שהתשובה תהיה פשוטה. היא לא. אבל היא גם לא מסתורית.
הנדסת הוגנות פירושה יישום אילוצים מתמטיים בכל שלב במחזור החיים של המודל. לפני האימון, אתם בוחנים את הנתונים שלכם לאיתור פערי ייצוג ומשתמשים בטכניקות כמו דגימת-יתר סינתטית כדי לאזן אוכלוסיות בתת-ייצוג. במהלך האימון, אתם פורסים הסרת הטיה יריבותית (adversarial debiasing) — טכניקה שבה מודל משני מנסה לחזות את גזעו של המבקש מתוך הפלט של המודל הראשי. אם הוא מצליח, המודל הראשי מדליף מידע מוגן, ואתם מאמנים מחדש עד שהיריב נכשל.
אחרי האימון, אתם מכיילים את ספי ההחלטה כדי להבטיח סיכויים מושווים (equalized odds) — כלומר שהמודל מדויק באותה מידה על פני קבוצות דמוגרפיות. לא סלחני באותה מידה. באותה מידה מדויק. מודל שמאשר לכולם אינו הוגן. מודל שצודק באותו שיעור עבור כולם — כן.
ואז יש את יכולת ההסבר. כל פעולה שלילית שהמערכת שלנו מייצרת מגיעה עם ערכי SHAP — שיטת ייחוס קפדנית מתמטית שאומרת לכם בדיוק אילו מאפיינים הניעו את ההחלטה, ובאיזו מידה. אנחנו מייצרים הסברים קונטרה-פקטואליים בזמן אמת: "אם ניצול האשראי שלך היה נמוך ב-15%, או ההכנסה שלך גבוהה ב-5,000 דולר, ההלוואה הזו הייתה מאושרת". זו לא אדיבות. תחת ההנחיות הנוכחיות של ה-CFPB, זה מתקרב להיות דרישה.
AI הוגן אינו מודל שנמנע מלומר משהו פוגעני. זו מערכת שבה כל החלטה ניתנת לפירוק, לערעור ולהגנה באמצעות מתמטיקה.
לפירוט הטכני המלא של צינור הנדסת ההוגנות והארכיטקטורה שלנו, פרסמתי מאמר מחקר מפורט שמעמיק יותר ממה שאני יכול כאן.
חומות הרגולציה נסגרות
הרשו לי לשרטט את הנוף למי שחושב שיש לו זמן.
להנחיות ה-CFPB מ-2023 ומ-2025 בנוגע להודעות על פעולה שלילית יש שיניים. SR 11-7 — תקן ניהול סיכוני המודלים של הפדרל ריזרב — דורש כעת תיעוד של איתנות רעיונית, ולידציה עצמאית על ידי צוותים ללא כל קשר לפיתוח, וניתוח תוצאות סדיר. מסגרת ניהול סיכוני ה-AI של NIST בגרסה 2.0, שפורסמה ב-2025, הציגה את המושג "רשימת חומרים של AI" (AI Bill of Materials) — מלאי מלא של כל מקור נתונים, כל מודל (כולל ממשקי API של צד שלישי), וכל אינטראקציה בין רכיבים.
אלה אינן הנחיות שאפשר להתעלם מהן. שופט פדרלי בדיוק התיר גילוי מסמכים לגבי האלגוריתם של Navy Federal. התובע הכללי של מסצ'וסטס לא רק קנס את Earnest — הוא חייב את החברה לשפץ מן היסוד את ממשל המודלים שלה, ליישם ולידציה עצמאית, ולהיכנע לניטור מתמשך.
המסר ברור: אם אינכם יכולים להסביר את המודל שלכם, אינכם יכולים להגן עליו. ואם אינכם יכולים להגן עליו, תשלמו — בהסדרי פשרה, בעלויות התדיינות, בנזק תדמיתי, ובשחיקת האמון מצד הקהילות שאתם טוענים שאתם משרתים.
למה "חיפוש אחר חלופות" הוא הדרישה שאף אחד לא מוכן אליה
יש מושג רגולטורי אחד שלדעתי יעצב מחדש את התעשייה יותר מכל אחר, וכמעט אף אחד לא מדבר עליו.
תחת חוק ההלוואות ההוגנות הנוכחי, לא מספיק להראות שהמודל שלכם מדויק. עליכם לחפש באופן אקטיבי חלופות פחות מפלות — מודלים שמשיגים ביצועי חיזוי דומים עם פער אפליה קטן יותר. אם תובע יכול להוכיח שחלופה כזו הייתה קיימת ולא השתמשתם בה, המודל שלכם נכשל במבחן המשפטי ללא קשר לדיוק שלו.
חשבו מה זה אומר תפעולית. אינכם יכולים פשוט לבנות מודל אחד, לבדוק אותו לאיתור הטיה, ולשלוח אותו לייצור. אתם צריכים לאמן תצורות מרובות — סטי מאפיינים שונים, אלגוריתמים שונים, כיולי ספים שונים — ולתעד מדוע בחרתם במה שבחרתם. אתם צריכים ראיות לכך שחיפשתם אפשרות הוגנת יותר, ושמצאתם אותה (ואימצתם אותה) או שהוכחתם שלא הייתה קיימת חלופה פחות מפלה באופן מהותי.
בילינו שלושה חודשים בבניית צינור חיפוש ה-LDA שלנו. שלושה חודשים שבהם צוות ההנדסה שלי המשיך לשאול: "אנחנו חושבים על זה יותר מדי?". ואז נחת הסדר הפשרה של Earnest, ומשרד התובע הכללי ציטט במפורש את כישלון החברה לחפש חלופות. לא חשבנו על זה יותר מדי. התעשייה חשבה על זה מעט מדי.
הלקח מ-Earnest שרוב האנשים מפספסים
אני רוצה לסיים במשהו שמנקר במוחי מאז יולי.
רוב הפרשנות על הסדר הפשרה של Earnest התמקדה במשתנה ה-CDR. וכן, זו הייתה הכותרת. אבל הכישלון העמוק יותר לא היה משתנה גרוע. זו הייתה היעדרותה של ארכיטקטורה שהייתה תופסת את המשתנה הגרוע לפני שהגיע אי פעם לייצור.
ל-Earnest לא הייתה ולידציה עצמאית של מודלים. לא הייתה להם בדיקת פרוקסי שיטתית. לא היה להם תיעוד בר-ביקורת של עקיפות אנושיות. לא היה להם ניטור הטיה רציף. היו להם מודל, מסמך מדיניות, ופער בין השניים שהיה רחב מספיק כדי להעביר דרכו תובענה ייצוגית.
2.5 מיליון הדולר לא היו העלות של ההטיה. הם היו העלות של בניית AI ללא התשתית לדעת מתי הטיה קיימת.
זו ההבחנה שאני חוזר אליה שוב ושוב. השאלה אינה "האם ה-AI שלכם מוטה?" — כל מודל שאומן על נתונים היסטוריים נושא את טביעות האצבע של אי-השוויון ההיסטורי. השאלה היא: האם יש לכם את הארכיטקטורה לזהות אותה, למדוד אותה, להסביר אותה ולתקן אותה לפני שרגולטור יעשה זאת בשבילכם?
רוב המלווים, אם יהיו כנים, יענו לא.
בנינו את Veriprajna משום שאנחנו מאמינים שהתשובה חייבת להיות כן — לא כשאיפה, אלא כתכונה מבנית של המערכת עצמה. הוגנות אינה תכונה שמברגים אחרי ההשקה. היא קיר תומך. הסירו אותו, וכל הבניין קורס.
הגל הראשון של AI בהלוואות הוגדר על ידי מהירות וקנה מידה. הגל השני יוגדר על ידי השאלה האם המערכת שלכם יכולה לשרוד זימון לדין. אני יודע לאיזה משניהם אני בונה.