OpenAI העלתה את אורך ההקשר המוגדר כברירת מחדל של GPT-6.1 Sol ל-500,000 טוקנים, כך אישרה החברה השבוע. המהלך יותר ממכפיל את זיכרון העבודה האפקטיבי של מודל הדגל שלה, ומאפשר לו לעבד ספרים שלמים, חוזים משפטיים ארוכים או בסיסי קוד נרחבים בהפעלה אחת ללא צורך בחלוקה למקטעים (chunking) או אימון מחדש.
העדכון חל על כלל המשתמשים, ולא רק על לקוחות ארגוניים, ונכנס לתוקף באופן מיידי. מדובר בקפיצה משמעותית מברירת המחדל הקודמת, המציבה את GPT-6.1 Sol ברמה אחרת עבור משימות הנשענות על שמירת כמויות טקסט גדולות בהקשר.
מה המשמעות המעשית של 500,000 טוקנים בפועל
חצי מיליון טוקנים שווי ערך בקירוב לאורכו של רומן בן 375,000 מילים — תחשבו על כל טרילוגיית שר הטבעות בתוספת ההוביט, ועוד יישאר מקום פנוי. במונחים מקצועיים, הדבר עשוי להיות שווה ערך לתיק גילוי מסמכים משפטי בן 1,200 עמודים, שנה שלמה של הודעות Slack בצוות בגודל בינוני, או קוד המקור המלא של פרויקט תוכנה קטן.
אורכי ההקשר המוגדרים כברירת מחדל בעבר במודלים של OpenAI נעו סביב 128,000 טוקנים. הזינוק ל-500,000 אינו רק מספר גדול יותר; הוא משנה את הכדאיות הכלכלית של האופן שבו מפתחים ועובדי ידע בונים את הפרומפטים שלהם. במקום לפרק מסמך לחלקים ולחבר סיכומים יחד — תהליך שלעתים קרובות מאבד ניואנסים וגוזל זמן — משתמשים יכולים כעת להזין את המסמך כולו בפעם אחת.
מדוע OpenAI ביצעה את השינוי דווקא עכשיו
התחרות היא כמעט בוודאות גורם מרכזי. מודלים מתחרים מבית Anthropic ו-Google דוחפים את חלונות ההקשר כלפי מעלה, ורוכשים ארגוניים הפכו את הביצועים בהקשרים ארוכים לסעיף עליון ברשימת הדרישות. עם זאת, הניסוח של OpenAI פשוט יותר: החברה מציינת כי החלון המורחב משפר את יכולתו של GPT-6.1 Sol להתמודד עם משימות מורכבות, בפרט כאלו הדורשות הצלבת מידע המפוזר על פני מאות עמודים.
יש לכך גם היבט מעשי. חלונות הקשר גדולים יותר מפחיתים את הצורך במערכי אחזור מידע משולב יצירה (RAG), שהם אמנם רבי-עוצמה אך רגישים לתקלות. כאשר מודל יכול פשוט לקרוא את כל המאגר, אין צורך לנחש אילו מקטעים הם החשובים.
שינוי בזרימת העבודה שטרם מופה במלואו
זרימות עבודה מקצועיות עשויות להשתנות בדרכים שאינן מובנות מאליהן במבט ראשון. אנליסט פיננסי שהיה רגיל להשקיע שעות בשליפת נתונים מדוחות רבעוניים יכול כעת להציג שאלה בודדת ולקבל תשובה המציינת מספרי עמודים מתוך עשור של דוחות 10-K. עורך דין הבודק הסכם מיזוג יכול לטעון כל דוא"ל, חוזה ותזכיר קשור לתוך שיחה אחת ולבקש לאתר סתירות.
אך הקשר גדול יותר אינו מבטיח אוטומטית תשובות טובות יותר. מודלים עדיין עלולים לאבד מיקוד בקלטים ארוכים במיוחד — תופעה שחוקרים מכנים "אבוד באמצע" ("lost in the middle"). חברת OpenAI טרם פרסמה מבחני ביצועים מפורטים לגבי אופן פעולתו של GPT-6.1 Sol במגבלה המלאה של 500,000 טוקנים, כך שהמשתמשים יצטרכו לבחון זאת בעצמם בהתאם לתרחישי השימוש שלהם.
עלות השימוש היא נעלם נוסף. OpenAI לא ציינה האם ההקשר המורחב ישנה את התמחור עבור לקוחות ה-API. מבחינה היסטורית, הקשרים ארוכים יותר היו כרוכים בתעריפים גבוהים יותר לכל טוקן עקב כוח העיבוד הנדרש כדי לעבד כמות גדולה יותר של טקסט בבת אחת.
למה כדאי לצפות בהמשך
מפתחים שבונים על גבי GPT-6.1 Sol ירצו לבחון את המגבלה החדשה מול תהליכי העבודה הקיימים שלהם. החברה לא פרסמה לוח זמנים רשמי לסיום התמיכה (deprecation) במצבי הקשר קצרים יותר, אך ברירת המחדל כבר השתנתה. עבור צוותים המסתמכים על אסטרטגיות של חלוקה למקטעים, זהו הזמן להעריך מחדש האם פתרונות עוקפים אלה עדיין הגיוניים.
OpenAI צפויה לפרסם תיעוד API מעודכן ופרטי תמחור בימים הקרובים. עד אז, הרף המעשי עבור רוב המשתמשים הוא מה שהתקציב שלהם מאפשר — 500,000 טוקנים הם כעת נקודת הפתיחה, ולא התקרה.
