מעקב אחר ה-hotfix משיפור מוערך ועד לגבול השחרור
כל הציים, המנשרים, תוויות הגרסה והרשומות המוצגים כאן הם סינתטיים. לכידות ממשיות אלו משתמשות בפרופילים נתמכי-מודל שמורים במטמון, 200 איטרציות Monte Carlo וגרעין 1234. המלצה ממומדלת אינה מהווה שחרור קושחה שבוצע או ראיה עצמאית לבטיחות בשטח.
דוגמה מעשית: אומדן נמוך בהרבה, אותו NO-GO
מתחילים באוכלוסיית Plano Water שנוצרה המונה 88,000 נקודות קצה. תמונת המצב מנקדת 86,078 ומחריגה 1,922 בעלות טלמטריה בלתי מספקת. אנו משווים מנשר אופטימיזציית סוללה ראשוני מול hotfix בעל הגבלת זרם פריצה עבור אותה אוכלוסייה ומדיניות, כך שניתן לבחון בנפרד את השיפור ואת גבול השחרור הנותר.
1. בדיקת אומדן ההתנהגות לפני מתן אמון בתווית השחרור
הפרופיל הראשוני השמור במטמון מעריך זרם מודם בסיסי של 120 mA בתוספת 100 mA זרם נוסף במהלך כתיבת פלאש. הסתברות ההתאוששות שלו לאחר איפוס היא 0.02. פרופיל ה-hotfix משנה קלטים אלה ל-100 mA בסיס, 10 mA זרם נוסף והסתברות התאוששות של 0.96. אלה אומדנים הנגזרים מיומן השינויים, ולא זרם שנמדד על חומרה או ניתוח של קובץ קושחה בינארי.
| קלט פרופיל | מנשר ראשוני | מנשר hotfix |
|---|---|---|
| זרם מודם בסיסי | 120 mA | 100 mA |
| זרם כתיבת פלאש נוסף | 100 mA | 10 mA |
| הסתברות רישום מחדש לאחר איפוס | 0.02 | 0.96 |
| הגברת כתיבה (write amplification) | 0.018 | 0.004 |
| אסימון ביטחון הפרופיל | גבוה | גבוה |
לאוכלוסייה שנוצרה יש טעינת סוללה חציונית של 69.0% וגיל חציוני של 4.4 שנים. במודל נפילת המתח המשוער, כתיבת פלאש עלולה לגרום לאיפוס כאשר מתח ההדקים יורד מתחת ל-3.30 V; התאוששות רדיו שנכשלה והשחתת פלאש תורמות לכשלים ממומדלים. אסימון ביטחון גבוה אינו מבסס ודאות מכוילת לגבי קלטים אלה.
2. השוואת הרווח העליון מול הגבול המוצהר
המועמד הראשוני חוזה 63,883 כשלים, או 74.22% מנקודות הקצה שנוקדו. ה-hotfix מוריד את התחזית ל-2,449, או 2.85%. זהו שיפור ממומדל גדול, אך השער בודק תחילה את הרווח העליון: 3,531 חלקי 86,078 הם כ-4.10%, עדיין מעל החסימה הקשיחה המוגדרת של 3.0%. לכן הוא מחזיר NO-GO, אף על פי שהממוצע נמצא מתחת ל-3.0%.
רווח הספירה הממומדל של 90% נע בין 1,536 ל-3,531 עבור ה-hotfix. הוא מתאר את פיזור התוצאות המדוּמות תחת קלטים אלה, ולא טווח שטח מובטח. ההבחנה המעשית בסקירה היא בין ״טוב יותר מהמועמד הקודם״ לבין ״בתוך גבול השחרור המוצהר״; דוגמה זו מספקת רק את הראשון.
3. שמירה על פרופיל ההתנהגות, שינוי האוכלוסייה
אותו אומדן התנהגותי של ה-hotfix מניב GO באוכלוסיית Hill Country Electric Co-op שנוצרה. טעינת הסוללה החציונית שלה היא 83.5%, הגיל החציוני הוא 2.8 שנים ואות רדיו חלש מהווה 2.3%, בהשוואה ל-69.0%, 4.4 שנים ו-13.4% ב-Plano. ההשוואה מראה מדוע לא ניתן להפריד אומדן קושחה ממצב האוכלוסייה המנוקדת.
| מקרה סינתטי | נוקדו / הוחרגו | ממוצע כשלים ממומדל | רווח ספירה של 90% | שיעור עליון | הכרעה |
|---|---|---|---|---|---|
| Plano, מנשר ראשוני | 86,078 / 1,922 | 63,883 (74.22%) | 59,894 עד 67,395 | 78.30% | NO-GO |
| Plano, hotfix | 86,078 / 1,922 | 2,449 (2.85%) | 1,536 עד 3,531 | 4.10% | NO-GO |
| קואופרטיב, אותו פרופיל hotfix | 118,222 / 1,778 | 24 (0.02%) | 17 עד 33 | 0.03% | GO עבור נקודות קצה שנוקדו |
| קואופרטיב, מנשר דק (thin manifest) | 118,222 / 1,778 | 54 (0.05%) | 39 עד 75 | 0.06% | STAGED-CANARY |
GO אינו מכסה את 1,778 נקודות הקצה המוחרגות בקואופרטיב, אינו מאשר משימת OTA ואינו מדגים שאותו אימג' תואם לחומרה של ספקים שונים. אנו משווים התנהגות כתיבה מוערכת על פני התפלגויות תקינות שנוצרו, ולא מפיצים אימג' בין יצרנים שונים.
4. אומדן קטן אינו יכול להחליף ראיות קושחה מספקות
מקרה המנשר הדק (thin-manifest) באוכלוסיית הקואופרטיב חוזה 54 כשלים בלבד, עם רווח ספירה של 39 עד 75 ושיעור עליון של 0.06%. ביטחון הפרופיל שלו נמוך, ולכן ענף המדיניות השני מונע GO וממליץ על STAGED-CANARY. זהו פרופיל שונה: הסתברות ההתאוששות היא 0.50 והגברת הכתיבה היא 0.008, במקום 0.96 ו-0.004 של ה-hotfix.
המלצת ה-non-GO מציעה עוקבה (cohort) של 500 נקודות קצה בעלות הסיכון הממומדל הנמוך ביותר, השהיה של 72 שעות וטלמטריה נצפית רעננה לפני הרחבה; תנאי שיעור הכשל הנצפה המוגדר הוא מתחת ל-0.1%. היישום אינו מבצע canary זה. כמו כן, עוקבה נבחרת תקינה אינה מבססת כי האוכלוסייה המוחלשת או המוחרגת בטוחה.
5. שמירה על ההחרגות ועל בסיס ההחלטה
רשומת ה-HTML של המקרה הראשוני להלן מראה כיצד ההמלצה שומרת על תמונת המצב הסינתטית, פילוח העוקבות, ההחרגות ותזכיר הייעוץ. 1,922 נקודות הקצה ללא טלמטריה נותרות מחוץ למכנה החיזוי ומומלצות לסקירה ידנית. ייצוא הרשומה אינו משלים סקירה זו ואינו סופר אותן בשקט כתקינות.
הייצוא שומר גם על קלטי הפרופיל, החיזוי והרווח, ספי המדיניות, הגרעין וחותמת הזמן. המזהה שלו הוא גיבוב תוכן SHA-256 קטום; חותם המפעיל ממתין וגיבוב הקושחה הוא מציין מקום (placeholder) סינתטי. שדות אלה הופכים את ההחלטה שנוצרה לניתנת לבדיקה, אך אינם הופכים אותה לאישור חתום, תעודת תאימות או ארכיון ביקורת בלתי ניתן לשינוי.
קריאת מדד הביצועים (benchmark) מבלי להסתיר את הבקרה הדורשת סקירה
המסך שהושלם משלב שלוש מדידות מהערכה סינתטית קבועה של 120 תרחישים עם שתי בקרות נסיגה (regression controls) של הפרופיל הנוכחי. כל תרחיש הערכה משתמש ב-20,000 נקודות קצה שנוצרו ונצפו במלואן וב-80 איטרציות סימולטור, עם גרעין 2026. נתוני האמת שנוצרו מקורם באותו מנגנון משוער עם רעש רענן, ולא במערך נתונים עצמאי של חברת תשתית.
| בדיקה | תוצאה שנצפתה | היקף ופרשנות |
|---|---|---|
| כיסוי רווח | 86.7%, PASS | רווח נומינלי של 90%; רף המעבר המוגדר הוא 80%. היעד הנומינלי לא הושג. |
| זכירת הפצה לא בטוחה (Unsafe-rollout recall) | 74/74 = 1.000, PASS | כל 74 התרחישים שסומנו כמסוכנים נחסמו בריצה קבועה זו; הרף התחתון המוגדר הוא 0.95. |
| דיוק שער שחרור (Release-gate precision) | 74/87 = 0.851, PASS | 74 מתוך 87 תרחישים חסומים מסומנים כמסוכנים; הרף התחתון המוגדר הוא 0.80. |
| נסיגת Plano ראשונית | NO-GO, PASS | הפרופיל הראשוני הנוכחי עומד ביעד ה-NO-GO המוגדר שלו. |
| בקרת hotfix של Plano | NO-GO, REVIEW | ה-hotfix הנוכחי אינו עומד ביעד ה-GO המוגדר שלו. |
סכנה מוגדרת כשיעור כשל שנוצר מעל 1.0%; גם NO-GO וגם STAGED-CANARY נחשבים כחסומים. ההערכה מתעדת 74 חיוביים אמיתיים (true positives), 13 חיוביים שגויים (false positives), 33 שליליים אמיתיים (true negatives) ואפס שליליים שגויים בריצה סינתטית קבועה זו. ארבע בדיקות שעברו ואחת הדורשת סקירה חושפות אי-התאמה הרגישה לקלט; הן אינן מבססות דיוק מושלם, תיקוף עצמאי או מניעה אוניברסלית.
