המלצת הלוואה מבוססת בינה מלאכותית זקוקה לכלל שחרור נפרד
המלצת הלוואה עשויה להישמע סבירה לחלוטין ובו בזמן לעמוד בסתירה למדיניות האשראי שהיא אמורה לפעול לפיה. אני מעוניין שההחלטה לשחרר את ההמלצה הזו תישען על בסיס עצמאי הניתן לבדיקה. אם ההסבר והרשאת הפעולה נובעים מאותה תגובת מודל בדיוק, על הבודק להתיר את שני החלקים זה מזה בטרם יוכל להכריע מה רשאי להמשיך.
שאלת העיצוב המרכזית היא מה צריך להתרחש כאשר המלצת בינה מלאכותית נכשלת בבדיקה כלשהי. בקשה מהמודל לנסות שנית עשויה לתקן תגובה חלקית. השהיית ההמלצה עשויה להיות הכרחית כאשר היא סותרת כלל מוגדר. אלו שתי התערבויות שונות, בעלות עלויות שונות. גבול מערכתי יעיל מציג את ההבדל הזה בבירור לפני שמי מהן הופכת להרגל אוטומטי.
הסבר סביר עלול לתמוך בתוצאה שגויה
ב-The Validation Firewall של Veriprajna, פלט מודל שנשמר ממליץ על אישור עבור מבקש הלוואה סינתטי עם דירוג אשראי של 559. המדיניות שהוגדרה דורשת לפחות 620. ההמלצה נכשלת בנוסף בקריטריונים של יחס חוב להכנסה (debt-to-income), יחס הלוואה לשווי (loan-to-value) ופיגורי תשלום אחרונים הקבועים במדיניות.
אלו תגובות מודל במטמון על גבי רשומות סינתטיות, שהורצו מחדש דרך הבדיקות ללא ביצוע היסק חדש. הן ממחישות את התנהגות הדוגמה הזו, ואינן מהוות מדד דיוק של המודל או ראיות מלקוחות אמיתיים של גוף מממן. תהליך ההלוואה והניתוב מדומה כולו.
ההסבר מספק תובנה חשובה. הוא מציין שהמדיניות שסופקה אינה מכילה את מפתחות הסיבות העיקריות המותרות הנדרשים לצורך סירוב. הדבר חושף מגבלה אמיתית בחוזה הקלט: הנחיית המודל בהדגמה מספקת את קריטריוני האשראי, אך משמיטה את רשימת הסיבות המותרות שהיא מורה למודל להשתמש בהן. יש להבין את תגובת המודל בהקשר זה. אין בה בסיס הוגן לדירוג מודלים.
כמו כן, אין בכך כדי להפוך את האישור לעקבי עם קריטריוני האשראי שקודדו. היעדר הנחיות להסבר הסירוב אינו משנה את דירוג האשראי של הפונה ואינו מוריד את רף המדיניות. תגובה יכולה לזהות בעיה אחת במדויק, ועדיין להמליץ על תוצאה המפרה דרישה אחרת.
אני מעדיף כאן הערכת מדיניות נפרדת משום שהיא משמרת את ההבחנה הזו. המודל יכול להסביר מדוע משימתו הייתה מורכבת. הבדיקה יכולה להראות מדוע ההמלצה אינה עומדת בכלל שסופק. בודק יכול לבחון את שניהם מבלי להתייחס להסבר משכנע כהרשאה לשנות את הכלל.
ההפרדה הזו הופכת גם את התיקון למדויק יותר. שיפור רשימת הסיבות בהנחיה מטפל בחוזה התגובה. שינוי רף המדיניות הוא החלטה שונה לחלוטין הדורשת הצדקה עצמאית. דרישה חוזרת ונשנית להסבר משכנע יותר אינה יכולה להכריע איזו מדיניות צריכה לחול.
ניסיון חוזר ובדיקה אנושית פותרים בעיות שונות
חשבו על תהליך עבודה תפעולי היפותטי המשתמש בדפוס זה: תגובת סירוב מתקבלת ללא הנימוק המובנה הנדרש. אפשרות אחת היא לבקש תגובה מתוקנת תוך אספקת ההנחיות החסרות. אפשרות שנייה היא להעביר את המקרה ישירות לבודק אנושי. הראשונה עשויה להתאים לבעיית עיצוב או קלט הניתנת לתיקון; השנייה שומרת את תשומת הלב למקרים שבהם ההחלטה היסודית דורשת שיקול דעת.
אני תומך בניסיון חוזר מוגדר ותחום כאשר הפגם ספציפי, הקלט ניתן לתיקון והתגובה החלופית תעבור את אותן בדיקות בדיוק. התגובה הקודמת חייבת להישאר זמינה לצד מחליפתה. אחרת, תגובה נקייה מאוחרת יותר עלולה להסתיר את העובדה שהחוזה המקורי נכשל. זוהי המלצה תכנונית, ולא יכולת ניסיון חוזר או שמירת גרסאות המודגמת באב-טיפוס זה.
האישור המפר את המדיניות מחייב טיפול שונה מהותית. ניסיון חוזר עשוי להניב המלצה העקבית עם המדיניות, אך האישור המקורי חייב להישאר מעוכב. תנאי השחרור חייב להתייחס לתוצאה שנבדקה מחדש. הוא אינו יכול להיות 'המודל ענה פעמיים' או 'ההסבר נראה כעת טוב יותר'. אם המקרה מחייב חריגה מהמדיניות, תהליך אישור חריגות מוסמך חייב לספק את הסמכות הזו.
לבחירה זו יש מחיר. עיכוב הכל לבדיקה אנושית מכלה את קיבולת הבודקים ומעכב מקרים שקלט מתוקן יכול היה לפתור. ניסיון חוזר על כל כישלון צורך משאבי מחשוב ועלול ליצור שרשרת חלופות סבירות מבלי להכריע מהו הכלל המחייב. קו ההפרדה המועיל הוא האם ניתן לתקן את הפגם במסגרת חוזה ההחלטה הקיים או שנדרש ממישהו לשנות את החוזה עצמו.
התוצאות בפועל של אב-הטיפוס ממוקדות יותר: בדיקה שנכשלה בחומרת חסימה מניבה BLOCK. כישלון בחומרת הסלמה מניב ESCALATE אם אין חסימה בעלת עדיפות. מעבר כל ארבע הבדיקות הפרטניות מניב AUTO-CLEAR. תוויות אלו מתעדות את תוצאת השער שהוגדר. הן אינן מוכיחות בדיקה אנושית שהושלמה או הרשאה לשחרר החלטת הלוואה בסביבת ייצור.
בדיקה שעברה דורשת הצהרת היקף כיסוי
הסיבוך הבא נוגע למה שתוצאה חיובית יכולה להביע באופן סביר. בדיקה חיצונית יכולה להיות דטרמיניסטית ועדיין להשאיר שאלות קריטיות ללא מענה. הדיוק של הכלל אינו מעיד על שלמות הכיסוי שלו.
לדוגמה, הדגמה זו משווה את רשומות הראיות של ערכי השדות שסופקו עם ההמלצה אל מול הרשומה הסינתטית. הדבר מועיל כאשר ערך מצוטט שגוי. אולם רשימת ראיות ריקה תעבור גם היא בדיקה זו. היא אינה בודקת כל טענה בהסבר ואינה מוודאת שכל שדה הכרחי אכן צוטט.
לפיכך, אני דורש שכלל שחרור יצהיר הן על התנאי שהוא מעריך והן על הראיות שהוא דורש. בתהליך עבודה היפותטי שבו החלטה חייבת להישען על הכנסה מאומתת, היעדר ציטוט הכנסה מחייב טיפול מפורש. המתכנן יכול לחייב את השדה לפני האימות, לנתב ראיות חסרות לבדיקה, או לצמצם את המשימה כך שלהמלצה לא תהיה סמכות על אותה החלטה. בדיקת עקביות לבדה אינה יכולה להכריע בין מדינויות אלו.
דרישת ראיות רבות יותר כוללת פשרה מובנית: היא יכולה להציף השמטות, אך היא גם מרחיבה את חוזה התגובה ואת המאמץ הנדרש לתחזוקתו. הראיות הנדרשות חייבות להתאים להשלכות ההחלטה. דרישת כל שדה זמין יוצרת רעש; דרישה רק של מה שהמודל מציע מיוזמתו מותירה את השליטה בהיקף הבדיקה בידי המודל.
יש לפרש את תוצאת AUTO-CLEAR בהקשר של היקף מוגדר זה. משמעותה היא שהבדיקות הפרטניות שיושמו עברו בהצלחה, והיא יכולה לחול על סירוב המעוגן במדיניות בדיוק כמו על אישור. היא אינה קובעת שיש להעניק הלוואה, שכל עובדה נכונה או שכל המחויבויות הרגולטוריות מולאו.
מעבר כולל אינו יכול לבטל כישלון פרטני
אותה אצוות מודל שנשמרה מספקת מבחן מועיל לפרשנות לוחות מחוונים. בכל אחת משתי הקבוצות הסינתטיות שלה יש חמישה אישורים מיועדים מתוך שש רשומות. היחס בין שיעורי האישור המיועדים הוא 1.00, ולכן סינון התיק המוגדר עובר בהצלחה. עם זאת, האישור המפר את המדיניות עדיין נותר חסום ברמת הבקשה הבודדת.
אין כאן שום סתירה. לוח התיק משווה שיעורי קבוצות על פני המלצות מיועדות. הבדיקה הפרטנית משווה המלצה אחת מול המדיניות שהוגדרה. האחת אינה מחליפה את השנייה. עם שש רשומות סינתטיות בלבד לכל קבוצה, מעבר ברמה המצרפית אינו יכול להוכיח יחס הוגן או התנהגות אמינה מעבר לדוגמה זו.
אני שומר על שאלות אלו נפרדות לחלוטין בעת פירוש לוח מחוונים לאימות. סיכום ירוק בודד מפתה את הקוראים לייחס לו משמעות רחבה יותר ממה שהחישוב הבסיסי תומך בו. תיעוד בדיקה איכותי מזהה בדיוק על איזו שאלה כל תוצאה עונה, אילו רשומות נכללו ואילו תנאים נותרו פתוחים. הדוח ההסבר של ההדגמה מציג כיצד ממצאים פרטניים אלה וסינון התיק מתקיימים זה לצד זה.
להלן הפירוט המלא שלי לגבי הדוגמאות הסינתטיות וממצאי הבדיקות הנפרדות שלהן.
עבור צוות שבוחר היכן להציב גבול שחרור, הקריטריון שלי הוא האם בודק יכול להתחקות אחר ההרשאה חזרה לכלל ספציפי, לראיות הנדרשות ולשלב הבא הנושא באחריות. הסבר של מודל יכול לתרום לתיעוד זה. אך אסור לו בשום אופן לרכוש את הסמכות להקל בכלל שהופר רק על ידי תיאור הקושי שהיה כרוך בציות לו.
