צוות חוקרים בסין בנה מודל בינה מלאכותית שמנצל את זמנו הפנוי כדי להתכונן לשאלה הבאה של המשתמש לפני שהיא נשאלת. הגישה עשויה לצמצם את ההשהיה בין שאילתות, ולהפוך סוכני שיחה למהירים ואינטואיטיביים יותר.
ניצול זמני השבתה ליתרון מוקדם
רוב הצ'אטבוטים מבוססי AI מעבדים כל שאילתה באופן רציף. הם מקשיבים, מחשבים ואז מגיבים. זה יוצר פערים שבהם לא מתבצעת עבודה. החוקרים הסינים תכננו מודל שממלא את הפערים הללו על ידי חיזוי מה המשתמש עשוי לשאול הבא וחישוב מראש של תשובות אפשריות.
כשה-AI מסיים להשיב לשאלה אחת, במקום לשבת בחוסר מעש, הוא מתחיל להריץ תרחישים אפשריים לשאלה הבאה בהתבסס על הקשר השיחה. עד שהמשתמש מקליד או מדבר את השאילתה הבאה, המודל כבר ביצע חלק מהעבודה. התוצאה היא ירידה ניכרת בזמן התגובה.
הפרטים על הארכיטקטורה המדויקת דלילים, אך החוקרים שיתפו את ממצאיהם בטיוטת מאמר (preprint). הם בדקו את המודל מול צ'אטבוטים סטנדרטיים ומצאו שהחישוב המקדים קיצץ את זמן ההשהיה הממוצע בשיעור משמעותי. הצוות לא חשף את מערכי הנתונים או החומרה הספציפיים שבהם השתמשו.
כיצד המודל מנחש את הצעד הבא
המערכת לא מנחשת באקראי. היא משתמשת בהיסטוריית השיחה ובהודעה האחרונה של המשתמש כדי לדרג שאלות המשך סבירות. לדוגמה, אם מישהו שואל על תחזית מזג האוויר, המודל עשוי לחשב מראש תשובות לשאלות כמו 'מה לגבי מחר?' או 'האם יירד גשם בסוף השבוע?'
היכולת החיזוי הזו מסתמכת על רשת עצבית קלת משקל שפועלת במקביל למנוע הצ'אט הראשי. החוקרים אומרים שהעומס הנוסף קטן – החישוב הנוסף צורך רק חלק קטן מהמשאבים שהמודל הראשי משתמש בהם.
אתגר אחד: המודל יכול להתכונן רק למספר מוגבל של מועמדים. אם המשתמש שואל משהו לגמרי לא צפוי, העבודה שחושבה מראש מתבזבזת. הצוות בוחן דרכים לשפר את דיוק החיזוי מבלי להגדיל את רשימת המועמדים יותר מדי.
מה זה אומר עבור עוזרי AI יומיומיים
עוזרים וירטואליים, בוטים לשירות לקוחות ומכשירים המופעלים בקול יכולים להרוויח מהגישה. תגובות מהירות יותר הופכות אינטראקציות לטבעיות יותר, במיוחד כשמשתמשים שואלים שאלות המשך מהירות.
אבל הרעיון אינו מוגבל לצ'אט. אותה טכניקה יכולה להתאים להשלמת קוד אוטומטית, יצירת תמונות, או כל מערכת AI שבה המשתמש מוציא סדרה של פקודות קשורות.
אימוץ מסחרי אינו מובטח. יש לאמן את המודל על יומני שיחה גדולים כדי לבנות מודלי חיזוי אמינים. חברות גם יצטרכו לשקול את העלות החישובית הנוספת מול החיסכון בהשהיה.
החוקרים לא הכריזו על תוכניות לשחרר את המודל לציבור או לשתף פעולה עם חברה. הם ממשיכים לעבוד על שיפור אלגוריתם החיזוי והפחתת התחלות שווא.
