NVIDIAは、単一筐体にエクサスケールのAI機能を詰め込んだラックスケールシステム「GB200 NVL72」を発表した。このプラットフォームは、1兆パラメータのモデルを訓練する際に効率を高めるため、Slurmブロックスケジューリングに依存している。
GB200 NVL72の搭載内容
GB200 NVL72は、高密度で統合されたシステムとして構築されている。通常であれば複数のラックやクラスターを必要とするような計算負荷を処理するように設計されている。NVIDIAの最新GPUアーキテクチャと高帯域幅メモリ、高速インターコネクトを組み合わせることで、大規模なAIジョブに必要な時間とエネルギーを削減することを目指している。
これは従来のサーバーではない。ラックスケールユニットであり、ラック全体が1台の巨大なコンピュータとして動作する。このアプローチによりレイテンシが低減され、管理が簡素化されるが、数百のGPUにまたがって処理を割り振り、停止を回避するスケジューラが必要となる。
Slurmブロックスケジューリングの重要性
Slurmは、多くのハイパフォーマンスコンピューティングセンターで既に標準のワークロードマネージャとして使われている。GB200 NVL72はSlurmのブロックスケジューリングバリアントを使用しており、ジョブは共有ハードウェア上でタイムスライスされるのではなく、専用のリソースブロックを割り当てられる。これは1兆パラメータのモデル訓練にとって極めて重要である。訓練の実行は数日から数週間に及ぶ可能性がある。ブロックスケジュールにより、GPUが中断なく同じジョブに留まり続けることが保証され、コストのかかるチェックポイント・リストアサイクルを回避できる。
NVIDIAは今回の発表でGB200 NVL72の性能ベンチマークを公表しなかった。しかし同社は、エクサスケールのスループットとブロックスケジューリングの組み合わせにより、研究者が既存のワークフローを再設計することなく、現在よりも桁違いに大きなモデルを訓練できるようになると述べている。
AIラボにとっての意味
現在、最大規模の言語モデルやビジョンモデルの訓練には専用のスーパーコンピュータが必要である。GB200 NVL72はそのフットプリントを縮小する。1台のラックで、かつてサーバールーム全体が必要だった性能を実現できる。これにより、独自のカスタムクラスターを構築したくない潤沢な資金を持つラボにとっての障壁が低くなる可能性がある。
ただし、このシステムは安価ではない。NVIDIAは価格を明らかにしておらず、初期アクセスはおそらくクラウドパートナーや一部の研究機関に限定されるだろう。本当の問題は、これらのラックを数十台連結してさらに大規模なジョブを実行する場合に、Slurmブロックスケジューリングが円滑にスケールできるかどうかである。
NVIDIAはGB200 NVL72の顧客への出荷を今年後半に開始する予定である。ラボがどれだけ迅速に採用し、約束された効率向上を実現できるかどうかが、ラックスケールエクサスケールがAI訓練の新たな標準となるかどうかを決定づけるだろう。
