Google 엔지니어들은 인공지능(AI)이 작성하는 신규 코드 비율이 6개월 전 50%에서 현재 75%로 증가하면서 컴퓨팅 성능 한계에 부딪히고 있다고 내부 데이터가 밝혔다. 이러한 급격한 증가는 회사 인프라에 부담을 주고 있으며, 팀들이 리소스 할당 방식을 재고하도록 만들고 있다.
AI 지원 코딩으로의 전환
6개월 전만 해도 Google의 신규 코드 중 절반이 AI에서 생성되었지만, 지금은 75%에 달한다. 이는 회사 내부 시스템이 AI가 제안하는 코드, 자동 완성, 자동 패치를 훨씬 더 많이 처리해야 함을 의미한다. 이러한 변화는 AI 도구를 일상적인 개발 워크플로우에 통합하려는 업계 전반의 움직임을 반영한다. Google에서는 대규모 언어 모델의 내부 버전과 같은 도구가 상용구 작성, 버그 수정, 심지어 전체 함수 생성에 표준으로 사용되고 있다.
그러나 이러한 증가에는 비용이 따랐다. 모든 AI 쿼리는 컴퓨팅 사이클을 소모하며, 모델이 더 많은 코드를 생성함에 따라 처리 능력에 대한 수요가 급증했다. 엔지니어들은 내부 AI 도구의 응답 시간이 느려지고 사용량이 많은 시간대에는 일시적인 중단이 발생한다고 보고했다.
내부 인프라에 가해지는 부담
컴퓨팅 한계는 AI 모델을 실행하는 데이터 센터에서 가장 두드러진다. TPU와 GPU를 포함한 Google 자체 하드웨어는 이제 코드 생성 작업으로 인해 과부하 상태다. 일부 팀은 작업을 대기열에 넣거나 엔지니어당 AI 요청 수를 제한해야 했다. 회사는 또한 덜 긴급한 도우미 함수보다 보안 패치나 중요 버그 수정과 같은 특정 유형의 코드 생성을 우선시하기 시작했다.
Google만 이러한 어려움을 겪는 것은 아니다. 다른 주요 기술 기업들도 AI를 개발에 통합하면서 유사한 성장통을 보고했다. 그러나 Google의 변화 속도(6개월 만에 25% 포인트 증가)는 일부 내부 팀을 당황하게 했다.
엔지니어들에게 미치는 영향
코드를 작성하는 엔지니어들에게 새로운 현실은 워크플로우를 조정해야 함을 의미한다. 더 이상 컴퓨팅 한계를 고려하지 않고 AI 도구가 코드를 즉시 생성할 것이라고 기대할 수 없다. 일부 엔지니어는 요청을 비수기 시간으로 몰아서 처리하기 시작했다. 다른 엔지니어들은 AI가 제한된 조건에서 실행될 때 비효율적이거나 버그가 있는 출력을 생성할 수 있음을 알고 AI 생성 코드를 더 주의 깊게 검토하고 있다.
Google은 인프라 부담을 어떻게 해결할지 공식적으로 밝히지 않았다. 회사는 더 많은 하드웨어에 투자하거나, 모델을 더 효율적으로 개선하거나, AI 사용에 더 엄격한 제한을 가하는 선택지 중 하나를 선택해야 할 것으로 보인다. 각 옵션에는 장단점이 있다. 더 많은 하드웨어는 비용이 들고 배포에 시간이 걸린다. 모델 효율성 개선은 개선 속도를 늦출 수 있다. 사용 제한은 도구에 의존하게 된 엔지니어들을 불편하게 만들 수 있다.
현재로서는 상황이 해결되지 않은 상태다. 엔지니어들은 제약을 우회하며 작업하고 있지만, AI 생성 코드에 대한 근본적인 수요는 줄어들 기미를 보이지 않는다. 문제는 Google의 인프라가 얼마나 오래 버틸 수 있느냐다.
