כיצד פועל שימוש חוזר בסיכומים
סוכני קידוד זקוקים לעיתים קרובות לעיבוד היסטוריות ארוכות של קוד ושיחות כדי להבין משימה. הדבר דורש זיכרון ועוצמת עיבוד משמעותיים. שיטת השימוש החוזר בסיכומים מאפשרת לסוכנים לשמור על סט של סיכומים מרוכזים הלוכדים את ההקשר החיוני. במקום לעבד מחדש את כל ההיסטוריה בכל פעם, הסוכן מתייחס לסיכומים אלה. המאמר של Meta מראה שזה מפחית את מספר האסימונים (tokens) המעובדים לכל בקשה, מוריד עלויות ומאיץ תגובות.
לדוגמה, כאשר מפתח מבקש מסוכן לתקן באג בכמה קבצים, סוכן טיפוסי עשוי לעבד מחדש כל קובץ וכל הודעה בשיחה. עם שימוש חוזר בסיכומים, הסוכן יכול להסתמך על סיכום שהורכב מראש של מבנה הקוד הרלוונטי ובקשות קודמות. זה מפחית את
