צפיתי ב-AI בדרייב-אין קוטע אדם שמגמגם. אז בניתי משהו אחר.

יש סרטון שמסתובב ברחבי Reddit. אישה בדרייב-אין של Wendy's מנסה להזמין Baconator. היא מגמגמת — חסימה על העיצור "b" — וה-AI קוטע אותה באמצע מילה, ומציע לה בעליצות Frosty. היא מנסה שוב. המערכת מפרשת את החזרה שלה כהזמנה חדשה. אחרי שלושה ניסיונות, היא צועקת "נציג" לתוך רמקול שלא אכפת לו.

צפיתי בסרטון הזה כנראה שלושים פעמים. לא כי הוא מצחיק — הוא לא — אלא כי כל כשל באינטראקציה הזו ממופה במדויק להחלטה ארכיטקטונית שמישהו קיבל בחדר ישיבות, כנראה בזמן שהביט בשקופית שכתוב בה "שיעור הצלחה של 86%".

אותם 14% שנותרו? אלה אנשים אמיתיים. ואני טוען שהארכיטקטורה מעולם לא נבנתה עבורם מלכתחילה.

זהו הסיפור על מדוע הצוות שלי ב-Veriprajna בילה את מרבית השנתיים בדחיית הדרך המהירה ביותר לשוק ב-AI קולי — ומה בנינו במקום זאת.

מה בעצם המשמעות של "AI קולי ברמה ארגונית"?

רוב החברות בתחום שלנו עושות משהו פשוט להפליא: הן מחברות מיקרופון ל-API. OpenAI, Google, Anthropic — בחרו את מודל השפה הגדול האהוב עליכם, הזרימו אודיו פנימה, קבלו טקסט בחזרה, הפיקו תגובה. שלחו למוצר.

אני קורא לגישה הזו עטיפת API, והיא עובדת להפליא בהדגמה. חדר שקט, דובר ברור, בקשה פשוטה. ההדגמה תמיד עובדת.

ההדגמה תמיד עובדת. הדרייב-אין ב-11:47 בלילה עם משאית דיזל שממתינה במנוע פועל מאחוריך ופעוט שצורח במושב האחורי — שם הארכיטקטורה באמת חשובה.

מערכת FreshAI של Wendy's — הבנויה על Vertex AI של Google Cloud — היא כנראה הדוגמה הבולטת ביותר לגישה הזו בקנה מידה גדול. וחוויות הלקוחות המדווחות מספרות לך כל מה שאתה צריך לדעת על המגבלות שלה: לקוחות שנזקקים לשלושה ניסיונות או יותר להזמנות פשוטות, המערכת שקוטעת אנשים באמצע משפט כדי להציע פריטים שהם לא ביקשו, וחוויה שתוארה כ"בלתי שמישה" עבור כל מי שסובל משיבוש דיבור.

ובכל זאת Wendy's מתרחבת ל-500-600 סניפים. הסיבה היא חשבון פשוט — המערכת מגדילה את גובה החשבון הממוצע באמצעות מכירה משודרגת, ומספרי יעילות העבודה נראים טוב בשיחת רווחים רבעונית. אם אתה מבצע אופטימיזציה עבור הממוצע, הארכיטקטורה היא הצלחה. אם אתה האדם שעבורו היא לא עובדת, הארכיטקטורה שבורה.

חקרתי את המתח הזה לעומק בגרסה האינטראקטיבית של המחקר שלנו. אבל הטיעון המרכזי הוא כזה שאני רוצה להעלות באופן אישי, כי הוא עיצב את האופן שבו אנחנו בונים הכול.

הלילה שבו הבנו שהמיקרופון הוא המקום הלא נכון להתחיל בו

היה זה בערך בשעה 21:00 ביום חמישי בסוף האביב. אני, שותפי המייסד, ושני מהנדסים עומדים בחניון של Taco Bell סגור שקיבלנו רשות להשתמש בו לבדיקות. היה לנו אב-טיפוס מותקן על עמוד — רמקול, מיקרופון, וקצת סרט הדבקה שהחזיק את הכול יחד. הרצנו אותו במעבדה במשך שבועות בדיוק של כ-95%. הרגשנו מוכנים.

המכונית הראשונה שעצרה הייתה אישה ב-Honda Civic עם החלון פתוח למחצה. היא אמרה "אני רוצה קומבו מספר שלוש" בבהירות מספקת. המערכת שמעה "island numb recon bowl". הבטתי בשותפי המייסד. הוא הביט ברצפה.

הדיוק לא היה סתם גרוע — הוא היה בלתי שמיש. עמדנו בחניון הזה עוד שעתיים, מריצים בדיקה אחר בדיקה, והמספרים רק החמירו ככל שתנועת הערב התגברה. אני זוכר את הרגע המדויק שבו הפסקתי להרגיש תסכול והתחלתי להרגיש משהו קרוב יותר לחרדה: זו לא הייתה בעיית כוונון. כל הגישה שלנו הייתה שגויה.

הבעיה לא הייתה מודל השפה. המודל היה בסדר. הבעיה הייתה כל מה שקרה לפני שהאודיו הגיע למודל. רעש רוח. רעם מנוע. הזמזום המכני של יחידת מיזוג אוויר במרחק שישה מטרים. צפירת מכונית שלושה בלוקים משם. המערכת שלנו לא יכלה להבחין בין קול אנושי למנוע דיזל כי, ברמת האות, אף אחד לא לימד אותה לעשות זאת.

זה היה הרגע שבו הבנתי משהו שלדעתי רוב האנשים בתחום הזה עדיין לא הפנימו: AI קולי אינו בעיית NLP. זו בעיית עיבוד אותות בראש ובראשונה, בעיה לשונית במקום השני, ובעיית NLP במקום השלישי. אם השכבה הראשונה שלך שבורה, שום דבר במורד הזרם לא יכול להציל אותך.

מדוע ה-AI בדרייב-אין ממשיך לקטוע אנשים?

האשם הוא משהו שנקרא זיהוי פעילות קולית — VAD. זו המערכת שמחליטה מתי התחלת לדבר ומתי הפסקת. ברוב פתרונות העטיפה, זהו סף אנרגיה פשוט: הצליל עולה מעל קו, ההקלטה מתחילה; הצליל יורד מתחת לקו, ההקלטה נעצרת.

תחשוב על זה בדרייב-אין. אתה עוצר לחצי שנייה כדי להעיף מבט בלוח התפריט. האנרגיה יורדת. ה-VAD מחליט שסיימת. הוא שולח קטע משפט למודל, המודל הוזה תגובה לשאלה שמעולם לא סיימת לשאול, ועכשיו אתה מתווכח עם רמקול.

בנינו מחדש את ה-VAD שלנו מאפס. במקום ספי אנרגיה, אנחנו משתמשים במודלים נוירוניים — Silero, Cobra — שמפיקים ציון הסתברות לדיבור אנושי על פני תדרים מגוונים. במקום מצב בינארי של דלוק/כבוי, המערכת שלנו נותנת רמת ביטחון. ובמקום סובלנות השהיה סטטית של 500 מילישניות, אנחנו משתמשים בחלון דינמי של 600 עד 1,000 מילישניות שמתכוונן על בסיס ההקשר השיחתי.

אבל הטריק שעשה את ההבדל הגדול ביותר היה מה שאנחנו מכנים תמלול ספקולטיבי. המערכת מתחילה לעבד אודיו ב-250 מילישניות אך אינה מתחייבת לנקודת סיום עד 600 מילישניות של שקט מאושר. החפיפה הזו מפחיתה את ההשהיה הנתפסת ב-350 עד 600 מילישניות ובו-זמנית מחסלת קטיעות מוקדמות.

שותפי המייסד טען במשך שבועות שחלון ההשהיה הדינמי מהונדס יתר על המידה. היינו במשרד עד מאוחר בלילה — קפה קר, לוחות מחיקים מכוסים בתרשימי השהיה — והוא הדף את כיסאו לאחור ואמר, "אנחנו מבזבזים שלושה שבועות-הנדסה על פיצ'ר שחוסך חצי שנייה. אף אחד לא עוצר לשנייה שלמה בדרייב-אין. זו בעיית יוקרה." אמרתי משהו כמו, "ואם אתה טועה, בנינו מערכת שקוטעת כל לקוח שצריך לחשוב." לא דיברנו במשך שארית הלילה. הוא עזב בסביבות חצות. אני נשארתי והמשכתי להריץ סימולציות.

ואז בדקנו את זה עם לקוחות אמיתיים. מסתבר שאנשים עוצרים כל הזמן — מביטים בתפריט, פונים לשאול נוסע מה הוא רוצה, חושבים אם הם באמת צריכים צ'יפס. שנייה שלמה של השהיה טבעית אינה שקט. זו חשיבה. שותפי המייסד שלח לי הודעה בת שורה אחת אחרי שראה את תוצאות הבדיקה: "צדקת. סליחה על הכיסא."

כשאתה מבצע אופטימיזציה למהירות על חשבון סבלנות, אתה בונה מערכת שעובדת רק עבור אנשים שכבר יודעים מה הם רוצים.

80 מיליון אנשים

גמגום משפיע על יותר מ-80 מיליון אנשים ברחבי העולם. המספר הזה נחת עליי אחרת אחרי החניון.

הוא מתבטא בחזרות ("b-b-b-baconator"), בהארכות ("mmmmilk"), ובחסימות — השהיות שקטות באמצע מילה שבהן האדם פיזית אינו מסוגל להפיק צליל.

עכשיו תחשוב מה VAD סטנדרטי עושה עם חסימה. האדם מפסיק להפיק צליל באמצע מילה. המערכת מפרשת את השקט כסיום תור. היא מגיבה לחצי מילה. האדם מנסה שוב. המערכת מתייחסת לחזרה כהזמנה חדשה. תוך עשר שניות יש לך AI מבולבל, אדם מתוסכל, ותור של מכוניות שמצטבר מאחוריהם.

זה אינו מקרה קצה. זו בחירת עיצוב. כשאתה מאמן מודל ASR (זיהוי דיבור אוטומטי) כמעט אך ורק על אנגלית אמריקאית "סטנדרטית" — מנוסחת היטב, עם מינימום השהיות — אתה מקבל החלטה לגבי עבור מי המערכת שלך מיועדת. מחקרים מראים שמודלי ASR מבוססי-Conformer (ארכיטקטורה נוירונית המשלבת קונבולוציה עם קשב-עצמי לעיבוד אודיו), עמוד השדרה של רוב המערכות המודרניות, חווים הידרדרות כה חמורה בביצועים על דיבור משובש עד שחלקם מחזירים ציוני דמיון סמנטי שליליים. לא רק לא מדויקים — הפוכים סמנטית.

כשמודל ה-AI שלך מחזיר ציונים סמנטיים שליליים על דיבור משובש, לא בנית מערכת שמתקשה עם מקרי קצה. בנית מערכת שמעולם לא תוכננה לשמוע חלק משמעותי מהאנושות.

משקיע אמר לי פעם, ישירות: "פשוט תשתמש ב-API ותבצע כוונון עדין מאוחר יותר. אתה שורף מסלול המראה על בעיה שמשפיעה על אחוז קטן מהלקוחות." שלפתי את המספרים בטלפון שלי — 80 מיליון אנשים עם גמגום בלבד, לפני שאתה סופר מבטאים, דוברי ESL (אנגלית כשפה שנייה), לקוחות מבוגרים, כל מי שמזמין במכונית רועשת. ראיתי את פניו משתנים. "זה לא אחוז קטן," הוא אמר. "לא," אמרתי. "הוא לא."

אנחנו מבצעים כוונון עדין של מודלים בפיקוח-עצמי על מערכי נתונים של דיבור משובש שסומנו מחדש. אנחנו משתמשים בהחדרת שיבושים סינתטית — לוקחים תמלולים שוטפים, מוסיפים חסימות וחזרות, ומסנתזים אותם לאודיו אימון. זו עבודה מפרכת. זה לא סוג הדבר שמופיע בטבלת השוואת פיצ'רים. אבל זה ההבדל בין מערכת שעובדת עבור כולם לבין מערכת שעובדת עבור הממוצע.

מה קורה כש-AI קולי רץ בקצה במקום בענן?

כל מילה שנאמרת לתוך מיקרופון הדרייב-אין של Wendy's נעה לאורך האינטרנט הציבורי אל מרכז נתונים של Google ובחזרה. הנסיעה הלוך ושוב הזו עולה 100 עד 500 מילישניות עוד לפני שהמודל בכלל מתחיל לעבד. באינטראקציה קולית, סטנדרט הזהב הוא זמן תגובה מתחת ל-300 מילישניות — כל דבר מעל לזה, והשיחה מפסיקה להרגיש טבעית. ב-700 עד 900 מילישניות, זה מרגיש כמו שיחת טלפון גרועה. בשתי שניות, אנשים מתחילים לדבר על גבי המערכת.

העברנו הכול לקצה. עיבוד מקומי על חומרה ייעודית באתר המסעדה. ההשהיה שלנו צנחה ל-5 עד 10 מילישניות.

אבל התובנה האמיתית לא הייתה רק מהירות — אלא גודל המודל. LLM לשימוש כללי צריך לדעת הכול על הכול. מודל שפה קטן ייעודי-לתחום צריך לדעת ש-"Dave's Single" הוא המבורגר, לא אלבום מוזיקה. המיקוד הזה משמעו הסקה מהירה יותר, תגובות צפויות יותר, ושבריר מהעלות החישובית. ראינו שיפורי מהירות פי 3 ועלויות תפעוליות נמוכות ב-30 עד 40% בהשוואה לגישות מבוססות-ענן.

ארכיטקטורת הקצה גם פתרה בעיה שלא צפינו במלואה: אמינות. כשהאינטרנט קורס — וזה יקרה — מערכת תלוית-ענן הופכת למשקולת נייר יקרה מאוד. המערכת שלנו ממשיכה לרוץ. לפירוק הטכני המלא של ארכיטקטורת הקצה שלנו לעומת גישות ענן, אתה יכול להעמיק במאמר המחקר.

חומת הרגולציה שאף אחד לא מדבר עליה

CAN-ASC-6.2:2025 נחת על שולחני בתחילת 2025, ואני זוכר שקראתי אותו עם משהו שבין הקלה לצדק שנעשה — הנה תקן שסוף סוף אמר את מה שבנינו לקראתו: אנשים עם מוגבלויות חייבים להיות מעורבים בעיצוב, בבדיקה ובממשל של מערכות AI. לא כמחשבה שלאחר מעשה. מההתחלה. חוק הנגישות האירופי (European Accessibility Act) מתחיל באכיפה ביוני 2025 עם קנסות כבדים, וה-ADA מתפרש מחדש כדי לכסות חסמים דיגיטליים עבור אנשים עם מוגבלויות דיבור. התאמה בדיעבד של מערכת לא-תואמת על פני 600 סניפים עולה בערך פי חמישה ממה שעולה לבנות אותה נכון מההתחלה.

"מה אם אנחנו פשוט בונים דרך יקרה מאוד לקבל הזמנת המבורגר?"

המחשבה הזו פגעה בי בסביבות 2 לפנות בוקר, אולי שישה חודשים לתוך הפיתוח. הייתי לבד במשרד, בוהה בספקטרוגרמה של מילה מגומגמת שהמערכת שלנו עדיין לא הצליחה לנתח. עסקנו בזה חודשים. שרפנו את רוב המימון הראשוני שלנו. וחברות עטיפת ה-API שלחו מוצר בעוד אנחנו עדיין ניפינו צינורות עיבוד אותות.

כמעט ויתרתי. כמעט החלטתי פשוט לעטוף את ה-API, לשלוח משהו, ולשפר מאוחר יותר כמו כולם.

אבל "לשפר מאוחר יותר" הוא שקר ב-AI קולי. ברגע שבנית את הארכיטקטורה שלך סביב הנחות תלויות-ענן, מבוססות-סף-VAD, ורק-לדיבור-שוטף, כל אינטראקציה עם לקוח מחזקת את ההנחות האלה בנתוני האימון שלך. אתה לא משתפר לכיוון נגישות. אתה משתפר הרחק ממנה.

בנה עבור מקרה הקצה קודם, ומקרה הממוצע ידאג לעצמו. בנה עבור הממוצע, ומקרה הקצה לעולם לא יתוקן.

בעיית תורנות הדיבור שגרמה לי לחשוב מחדש על הכול

יש עדינות בשיחה אנושית שאנחנו לוקחים כמובנת מאליה לחלוטין. כשאתה אומר "אני רוצה Baconator ו..." — אותה "ו" נגררת מסמנת שלא סיימת. קופאי אנושי היה ממתין. רוב ה-AI בדרייב-אין לא.

בנינו את מה שאני מחשיב כדקדוק שיחתי לתוך לוגיקת קביעת נקודות-הסיום שלנו. המערכת מנתחת רמזים לשוניים בזמן אמת: מילות חיבור שמסמנות המשך, שינויי גובה צליל שמסמנים סיום, הביטוי "זה הכול" שמשמעו בדיוק מה שנאמר. כשלקוח אומר "זה הכול", המערכת שלנו מגיבה תוך פחות מ-200 מילישניות כי הכוונה חד-משמעית. כשהם נגררים ב"ו...", היא ממתינה, אפילו לאורך שנייה שלמה של שקט.

כאן גם שוכנת הפילוסופיה שלנו של אדם-בתוך-הלולאה. אנחנו לא מאמינים ש-AI צריך לטפל בכל העסקה ללא פיקוח. בקשות פשוטות, טרנזקציוניות — ה-AI מטפל בהן. מצבים מורכבים, לקוחות מתוסכלים, רגעים בעלי חיכוך גבוה — אלה מוסלמים לאדם לפני שהאינטראקציה מתמוטטת, לא אחרי.

המטרה מעולם לא הייתה להחליף את האדם בדרייב-אין. היא הייתה לוודא שאף לקוח לא יצטרך לעולם לצעוק "נציג" למכונה שאינה מקשיבה.

אני חוזר שוב ושוב לאותו שיעור הצלחה של 86% ש-Wendy's דיווחה עליו. ברוב ההקשרים התוכנתיים, 86% היה נחשב לכישלון. תארו לעצמכם אפליקציית בנקאות שמעבדת 86% מהעסקאות נכון. תארו לעצמכם מערכת ניווט שמביאה אתכם ליעד הנכון 86% מהזמן. הדרייב-אין הצליח איכשהו לנרמל שיעור כשל שהיה בלתי מתקבל על הדעת בכל אינטראקציה צרכנית אחרת.

זו בעיית ארכיטקטורה, לא בעיית AI

התבנית שאני רואה ברחבי התעשייה היא חברות שמתייחסות ל-AI קולי כשכבת תוכנה — משהו שאתה מרכיב מעל תשתית קיימת עם מפתח ה-API הנכון. ואני מבין למה. זה מהיר, זה זול, וההדגמות מדהימות.

אבל הדרייב-אין אינו הדגמה. הוא מנועי דיזל ורוח ופעוטות ומבטאים וגמגום ואנשים שעוצרים לחשוב. הוא המורכבות המלאה והבלתי ניתנת לצמצום של תקשורת אנושית שמתרחשת בסביבה האקוסטית הגרועה ביותר האפשרית. אי אפשר לפלס לך דרך דרך זה בעזרת עטיפה.

החברות שינצחו בשוק הזה — ואני אומר זאת עם ההטיה של מי שהימר על הקריירה שלו על כך — הן אלה שמוכנות להעמיק. עמוק לתוך עיבוד אותות. עמוק לתוך מידול אקוסטי. עמוק לתוך הבלשנות של איך אנשים באמת מדברים, לא איך נתוני אימון ASR אומרים שהם צריכים. עמוק לתוך תשתית קצה שאינה תלויה במרכז נתונים במרחק אלף קילומטרים.

אין קיצורי דרך ב-AI קולי. יש רק את העבודה הקפדנית, הלא-זוהרת, והטכנית לעומק של בניית מערכות ששומעות כל לקוח. לא 86% מהם. כל אחד ואחד.

זו המשמעות של רמה ארגונית. ועד שהתעשייה תקבל את ההגדרה הזו, נמשיך לצפות בסרטונים של רמקולי דרייב-אין שאינם מסוגלים להבין את המילה "Baconator".