GB200-তে ইনফারেন্স লাভ
GB200 র্যাকে স্যুইচ করা পারপ্লেক্সিটিকে 235-বিলিয়ন প্যারামিটার Qwen3 মডেল চালানোর গতিতে লক্ষণীয় উন্নতি দিয়েছে। ইনফারেন্স থ্রুপুট এবং লেটেন্সি উভয়ই উন্নত হয়েছে, যদিও কোম্পানি নির্দিষ্ট বেঞ্চমার্ক প্রকাশ করেনি। এই লাভগুলি এনভিডিয়ার Grace CPU এবং Blackwell GPU-এর নিবিড় সংহতকরণ থেকে আসে, যা ডেটা-ট্রান্সফার বাধা কমায়।
এনভিডিয়ার হার্ডওয়্যার সুবিধা
এই স্থাপনা এআই চিপ প্রতিযোগিতায় এনভিডিয়ার এগিয়ে যাওয়ার আরেকটি উদাহরণ। GB200 র্যাকগুলি ঠিক এই ধরনের উচ্চ-প্যারামিটার
