OpenAI가 GPT-6.1 Sol의 기본 컨텍스트 길이를 500,000(50만) 토큰으로 확대했다고 이번 주 공식 확인했다. 이번 조치로 주력 모델의 실질적인 작업 메모리가 두 배 이상 늘어나면서, 청킹(chunking, 문서 분할)이나 추가 학습 없이도 단일 세션에서 책 한 권 전체나 방대한 법률 계약서, 대규모 코드베이스를 한 번에 처리할 수 있게 되었다.
이번 업데이트는 기업 고객뿐만 아니라 모든 사용자에게 적용되며 즉시 발효된다. 이는 기존 기본값 대비 대폭 상승한 수치로, 대량의 텍스트 맥락을 유지해야 하는 작업에서 GPT-6.1 Sol의 위상을 한 단계 끌어올렸다.
실무에서 50만 토큰이 갖는 실제 의미
50만 토큰은 약 37만 5,000단어 분량의 소설과 맞먹는 수준으로, Lord of the Rings(반지의 제왕) 3부작 전권과 The Hobbit(호빗)을 합치고도 여유가 남는 분량이다. 전문 업무 관점에서 보면 1,200페이지에 달하는 법률 증거 개시(discovery) 자료 묶음, 중간 규모 팀의 1년 치 Slack 메시지 기록, 혹은 소규모 소프트웨어 프로젝트의 전체 소스 코드에 해당할 수 있다.
그동안 OpenAI 모델들의 기본 컨텍스트 길이는 128,000토큰 수준에 머물러 있었다. 50만 토큰으로의 도약은 단순한 숫자의 확장을 넘어, 개발자와 지식 노동자가 프롬프트를 구성하는 경제학적 방식을 근본적으로 바꾼다. 문서를 여러 조각으로 쪼개고 각 요약본을 이어 붙이는 방식(이 과정에서 뉘앙스가 유실되거나 시간이 소모되곤 했다) 대신, 이제 전체 문서를 한 번에 입력할 수 있게 된 것이다.
OpenAI가 지금 변화를 택한 이유
경쟁 구도가 결정적인 요인으로 작용했을 가능성이 높다. Anthropic과 Google의 경쟁 모델들이 컨텍스트 윈도우를 지속적으로 넓혀왔고, 기업 고객들 사이에서도 긴 컨텍스트 처리 성능이 핵심 평가 항목으로 자리 잡았다. 하지만 OpenAI의 입장은 보다 단순하다. 더 넓어진 윈도우 덕분에 수백 페이지에 걸쳐 흩어져 있는 정보를 교차 검증해야 하는 복잡한 작업을 GPT-6.1 Sol이 훨씬 더 수월하게 처리할 수 있게 되었다는 설명이다.
실용적인 측면도 존재한다. 컨텍스트 창이 커지면 강력하지만 다소 불안정할 수 있는 검색 증강 생성(RAG) 파이프라인에 대한 의존도를 줄일 수 있다. 모델이 말뭉치(코퍼스) 전체를 직접 읽어낼 수 있다면, 어떤 청크가 중요한지 일일이 추정할 필요가 없어지기 때문이다.
아직 완전히 파악되지 않은 워크플로의 변화
전문직 워크플로는 얼핏 보기에 예상하기 힘든 방식으로 바뀔 수 있다. 과거 분기별 공시 보고서에서 수치를 추출하느라 몇 시간을 쏟아야 했던 금융 분석가는 이제 단 한 번의 질문으로 지난 10년간의 10-K 보고서 페이지 번호까지 인용한 답변을 얻을 수 있다. 합병 계약서를 검토하는 변호사는 관련 이메일, 계약서, 메모를 한 세션에 모두 불러온 뒤 상충되는 내용을 찾아달라고 요청할 수 있다.
그러나 컨텍스트가 커졌다고 해서 답변 품질이 무조건 향상되는 것은 아니다. 연구진들이 흔히 '중간 분실(lost in the middle)'이라 부르는 현상처럼, 모델은 입력 길이가 매우 길어질 경우 여전히 핵심 맥락을 놓칠 수 있다. OpenAI는 50만 토큰 한도 전체를 활용했을 때 GPT-6.1 Sol이 어떤 성능을 발휘하는지 세부 벤치마크를 아직 공개하지 않았으므로, 사용자들은 각자의 사용 사례에 맞춰 직접 테스트를 진행해야 한다.
비용 문제 역시 미지수다. OpenAI는 확장된 컨텍스트가 API 고객의 요금 체계에 어떤 영향을 미치는지 밝히지 않았다. 역사적으로 컨텍스트가 길어질수록 한 번에 더 많은 텍스트에 어텐션(attention)을 연산해야 하므로 토큰당 단가가 더 높게 책정되어 왔다.
향후 주목해야 할 점
GPT-6.1 Sol을 기반으로 개발 중인 개발자들은 기존 파이프라인에 맞춰 새로운 한도를 테스트해 보아야 할 것이다. OpenAI가 짧은 컨텍스트 모드에 대한 공식 지원 중단(deprecation) 일정을 내놓지는 않았으나, 기본값은 이미 변경되었다. 문서 분할(청킹) 전략에 의존해 온 팀이라면 이제 이러한 우회책이 여전히 유효한지 재평가할 시점이다.
OpenAI는 며칠 내로 업데이트된 API 문서와 요금 체계 세부 사항을 공개할 예정이다. 그때까지 대다수 사용자에게 실질적인 한도는 예산이 허용하는 범위에 달려 있다. 이제 50만 토큰은 천장이 아니라 바닥(기본값)이 되었다.
