Az OpenAI 500 000 tokenre emelte a GPT-6.1 Sol alapértelmezett kontextushosszát – erősítette meg a vállalat ezen a héten. A lépés több mint kétszeresére növeli a csúcsmodell tényleges munkamemóriáját, lehetővé téve számára teljes könyvek, terjedelmes jogi szerződések vagy kiterjedt kódbázisok feldolgozását egyetlen munkamenetben, darabolás vagy újratanítás nélkül.
A frissítés minden felhasználóra érvényes, nemcsak a vállalati ügyfelekre, és azonnal hatályba lép. Ez jelentős ugrás a korábbi alapértelmezett értékhez képest, és új kategóriába emeli a GPT-6.1 Solt az olyan feladatok terén, amelyek nagy mennyiségű szöveg kontextusban tartását igénylik.
Mit jelent a gyakorlatban az 500 000 token
Félmillió token nagyjából egy 375 000 szavas regény hosszának felel meg – gondoljunk csak a teljes A Gyűrűk Ura trilógiára plusz A hobbitra, és még hely is marad. Szakmai szempontból ez egy 1200 oldalas jogi iratcsomót, egy közepes méretű csapat teljes évi Slack-üzeneteit vagy egy kisebb szoftverprojekt teljes forráskódját jelentheti.
Az OpenAI modelljeinek korábbi alapértelmezett kontextushosszai a 128 000 tokenes tartományban mozogtak. Az 500 000-re való ugrás nem csupán egy nagyobb szám; alapjaiban változtatja meg azt, ahogyan a fejlesztők és az ismeretmunkások felépítik a promptjaikat. Ahelyett, hogy egy dokumentumot darabokra bontanának, majd az összefoglalókat összefűznék – egy olyan folyamat, amely során gyakran elvesznek az árnyalatok és időt emészt fel –, a felhasználók mostantól az egészet egyetlen menetben betölthetik.
Miért most lépte meg a változtatást az OpenAI
A verseny szinte biztosan közrejátszik. Az Anthropic és a Google rivális modelljei egyre feljebb tolták a kontextusablakokat, a vállalati vásárlók pedig a hosszú kontextusú teljesítményt az egyik legfontosabb szemponttá tették. Az OpenAI megközelítése azonban ennél egyszerűbb: a vállalat szerint a nagyobb ablak növeli a GPT-6.1 Sol képességét az összetett feladatok kezelésére, különösen azokéra, amelyek több száz oldalon szétszórt információk kereszthivatkozását igénylik.
Gyakorlati szempont is létezik. A nagyobb kontextusablakok csökkentik a visszakereséssel kiegészített generálási (RAG) folyamatok szükségességét, amelyek ugyan hatékonyak, de sérülékenyek. Ha egy modell egyszerűen el tudja olvasni a teljes korpuszt, nem kell találgatni, mely szövegrészek igazán fontosak.
A munkafolyamatok átalakulása, amelyet még senki sem látott át teljesen
A szakmai munkafolyamatok olyan módokon alakulhatnak át, amelyek első pillantásra nem is nyilvánvalóak. Egy pénzügyi elemző, aki korábban órákat töltött azzal, hogy adatokat bányásszon ki a negyedéves jelentésekből, most egyetlen kérdést tehet fel, és olyan választ kaphat, amely egy teljes évtized 10-K jelentéseiből hivatkozik oldalszámokra. Egy fúziós szerződést áttekintő jogász minden kapcsolódó e-mailt, szerződést és feljegyzést betölthet egyetlen munkamenetbe, és közvetlenül rákérdezhet az ellentmondásokra.
A nagyobb kontextus azonban nem jelent automatikusan jobb válaszokat. A modellek továbbra is veszíthetnek a fókuszukból a nagyon hosszú bemenetek esetén – ezt a jelenséget a kutatók „lost in the middle” (elveszve a közepén) néven emlegetik. Az OpenAI nem tett közzé részletes teszteredményeket arról, hogyan teljesít a GPT-6.1 Sol a teljes 500 000 tokenes limit mellett, így a felhasználóknak maguknak kell tesztelniük saját alkalmazási területeiket.
A költség egy másik ismeretlen tényező. Az OpenAI még nem közölte, hogy a bővített kontextus módosítja-e az API-ügyfelek árazását. Történelmileg a hosszabb kontextusok magasabb tokenenkénti árakat jelentettek a számítási kapacitásigény miatt, amely egyszerre több szöveg figyelembevételéhez szükséges.
Mire érdemes figyelni a következőkben
A GPT-6.1 Solra építő fejlesztőknek érdemes tesztelniük az új limitet meglévő munkafolyamataikkal szemben. A vállalat még nem tett közzé hivatalos kivezetési ütemtervet a rövidebb kontextusú módokhoz, de az alapértelmezett beállítás már megváltozott. A darabolási stratégiákra támaszkodó csapatok számára most jött el az ideje annak átértékelésére, hogy ezek az áthidaló megoldások szükségesek-e még.
Az OpenAI várhatóan a következő napokban teszi közzé a frissített API-dokumentációt és az árazási részleteket. Addig is a legtöbb felhasználó számára a gyakorlati plafont a költségkeretük szabja meg – az 500 000 token mostantól az alap, nem pedig a felső határ.
