OpenAI zvýšila výchozí délku kontextu modelu GPT-6.1 Sol na 500 000 tokenů, potvrdila společnost tento týden. Tento krok více než zdvojnásobuje efektivní pracovní paměť jejího vlajkového modelu, což mu umožňuje zpracovávat celé knihy, rozsáhlé právní smlouvy nebo rozsáhlé kódové báze v rámci jediné relace bez nutnosti dělení textu na části nebo dotrénování.
Aktualizace platí pro všechny uživatele, nejen pro firemní zákazníky, a vstupuje v platnost okamžitě. Jde o výrazný skok oproti předchozí výchozí hodnotě, který posouvá GPT-6.1 Sol do jiné třídy pro úlohy vyžadující udržení velkého objemu textu v kontextu.
Co 500 000 tokenů ve skutečnosti znamená v praxi
Půl milionu tokenů odpovídá zhruba románu o délce 375 000 slov – představte si celou trilogii Pán prstenů včetně Hobita, a ještě zbude místo. V profesním kontextu to může znamenat 1 200 stran spisů pro právní dokazování, celoroční historii zpráv na Slacku středně velkého týmu nebo kompletní zdrojový kód menšího softwarového projektu.
Dřívější výchozí délky kontextu napříč modely OpenAI se pohybovaly kolem 128 000 tokenů. Skok na 500 000 není jen vyšší číslo; mění ekonomiku toho, jak vývojáři a znalostní pracovníci strukturují své prompty. Místo rozdělování dokumentu na části a následného spojování shrnutí – což je proces, při němž se často ztrácejí nuance a který bere čas – mohou nyní uživatelé vložit celý materiál najednou.
Proč OpenAI přistoupila ke změně právě teď
Svou roli téměř jistě hraje konkurence. Konkurenční modely od společností Anthropic a Google neustále posouvají kontextová okna výše a firemní zákazníci zařadili práci s dlouhým kontextem mezi své hlavní požadavky. OpenAI to však podává přímočařeji: společnost uvádí, že větší okno posiluje schopnost GPT-6.1 Sol zvládat komplexní úlohy, zejména ty, které vyžadují křížové porovnávání informací rozesetých po stovkách stran.
Má to i praktický rozměr. Větší kontextová okna snižují potřebu architektur typu RAG (retrieval-augmented generation), které jsou sice výkonné, ale křehké. Když si model dokáže jednoduše přečíst celý korpus, nemusíte odhadovat, které části jsou relevantní.
Posun v pracovních postupech, který ještě nikdo plně nezmapoval
Profesní pracovní postupy by se mohly proměnit způsoby, které nejsou na první pohled zřejmé. Finanční analytik, který dříve trávil hodiny vytahováním čísel ze čtvrtletních výkazů, může nyní položit jedinou otázku a získat odpověď s citacemi konkrétních stran z výročních zpráv (10-K) za celé desetiletí. Právník posuzující fúzní smlouvu může do jedné relace nahrát všechny související e-maily, smlouvy i memoranda a nechat si vyhledat nesrovnalosti.
Větší kontext však automaticky neznamená lepší odpovědi. Modely mohou u velmi dlouhých vstupů stále ztrácet pozornost – což je jev, který výzkumníci označují jako „lost in the middle“ (ztraceno uprostřed). OpenAI nezveřejnila podrobné benchmarky výkonu GPT-6.1 Sol při plném limitu 500 000 tokenů, takže uživatelé si budou muset své konkrétní případy otestovat sami.
Další neznámou jsou náklady. OpenAI neuvedla, zda rozšířený kontext mění cenotvorbu pro zákazníky využívající API. Z historického pohledu delší kontexty znamenaly vyšší sazby za token kvůli výpočetnímu výkonu potřebnému ke zpracování většího objemu textu současně.
Co sledovat v následujícím období
Vývojáři stavějící na modelu GPT-6.1 Sol budou chtít nový limit otestovat v rámci svých stávajících pipeline. Společnost sice nevydala formální harmonogram ukončení podpory režimů s kratším kontextem, výchozí nastavení se však již změnilo. Pro týmy, které spoléhají na strategie dělení textu (chunking), přišel čas přehodnotit, zda tato náhradní řešení mají stále smysl.
Očekává se, že OpenAI v nejbližších dnech zveřejní aktualizovanou dokumentaci k API a podrobnosti o cenách. Do té doby je praktickým stropem pro většinu uživatelů to, co jim dovolí jejich rozpočet – 500 000 tokenů je nyní základem, nikoli stropem.
