Perplexity가 Nvidia GB200 랙에서 Qwen3 235B 모델을 서비스하기 시작했습니다. 이는 주요 추론 성능 향상을 가져오는 조치입니다. Crypto Briefing이 처음 보도한 이 배포는 AI 하드웨어 분야에서 Nvidia의 지속적인 선두를 강조하며, 대규모 모델 서빙의 경쟁 구도를 변화시킬 수 있습니다.
GB200에서의 추론 성능 향상
GB200 랙으로의 전환은 Perplexity가 2350억 파라미터의 Qwen3 모델을 실행하는 속도를 눈에 띄게 향상시켰습니다. 추론 처리량과 지연 시간 모두 개선되었지만, 회사는 구체적인 벤치마크를 공개하지 않았습니다. 이러한 성능 향상은 Nvidia의 Grace CPU와 Blackwell GPU의 긴밀한 통합에서 비롯되며, 데이터 전송 병목 현상을 줄여줍니다.
Nvidia의 하드웨어 우위
이번 배포는 Nvidia가 AI 칩 경쟁에서 앞서 나가고 있음을 보여주는 또 다른 사례입니다. GB200 랙은 정확히 이러한 고파라미터 워크로드를 위해 설계되었으며, Perplexity의 선택은 해당 하드웨어가 중요한 부분에서 성능을 발휘함을 시사합니다. AMD와 Intel 같은 경쟁사들은 이러한 성능을 대규모로 따라잡기 위해 어려운 길을 가야 합니다.
모델 배포 가속화
더 나은 추론 성능을 통해 Perplexity는 업데이트와 새 모델을 더 빠르게 출시할 수 있습니다. Qwen3 235B는 밀집된 강력한 모델이며, 이를 효율적으로 실행하면 훈련과 프로덕션 사이의 시간이 단축됩니다. 점점 더 큰 언어 모델을 배포하기 위한 경쟁이 치열해지면서 이러한 속도는 중요해집니다.
이번 조치는 다른 추론 제공업체들이 하드웨어를 업그레이드하거나 뒤처질 위험을 감수하도록 압박할 수 있습니다. Perplexity가 이러한 우위를 유지한다면, 높은 처리량과 낮은 지연 시간의 서빙이 필요한 더 많은 AI 개발자들을 끌어들일 수 있습니다. 앞으로 몇 달 동안 경쟁사들이 격차를 좁힐 수 있을지, 아니면 Nvidia의 GB200이 대규모 모델의 사실상 표준이 될지가 드러날 것입니다.
