Anyscale একটি নতুন টool চালু করেছে যা বড় ভাষা মডেলের জন্য পোস্ট-ট্রেনিং পর্বকে সুসংহত করতে ডিজাইন করা হয়েছে, পদ্ধতি নির্বাচন, GPU পরিকল্পনা এবং কনফিগারেশন জেনারেশনের মতো কাজগুলি স্বয়ংক্রিয় করে। কোম্পানিটি বলেছে যে এটি LLM-গুলিকে প্রোডাকশনে স্থাপনের জটিল এবং সম্পদ-নিবিড় অংশটিকে সরলীকরণ করতে চায়।
টool কী স্বয়ংক্রিয় করে
টoolটি ফাইন-টিউনিং প্রক্রিয়ার উপর ফোকাস করে, যা সাধারণত ইঞ্জিনিয়ারদের ম্যানুয়ালি পূর্ণ ফাইন-টিউনিং, LoRA বা QLoRA-এর মতো পদ্ধতিগুলির মধ্যে বেছে নিতে হয়, তারপর সঠিক GPU সেটআপ এবং হাইপারপ্যারামিটার নির্ধারণ করতে হয়। Anyscale-এর সিস্টেম সেই সিদ্ধান্তগুলি গ্রহণ করে, মডেল এবং ব্যবহারকারীর হার্ডওয়্যার সীমাবদ্ধতার সাথে মেলে এমন একটি কনফিগারেশন তৈরি করে। কোম্পানিটি দাবি করে যে এটি ট্রায়াল-এন্ড-এরর সময় কমাতে পারে এবং ভুল কনফিগারেশনের ঝুঁকি হ্রাস করতে পারে।
পোস্ট-ট্রেনিং কেন এখন গুরুত্বপূর্ণ
সংস্থাগুলি LLM নিয়ে পরীক্ষা-নিরীক্ষা থেকে বাস্তবে স্থাপনের দিকে অগ্রসর হওয়ার সাথে সাথে, ফাইন-টিউনিং একটি বাধা হয়ে দাঁড়িয়েছে। অফ-দ্য-শেল্ফ মডেলগুলিকে প্রায়শই নির্দিষ্ট ডোমেন বা কাজের জন্য সমন্বয় করতে হয়, কিন্তু প্রক্রিয়াটির জন্য বিশেষ জ্ঞানের প্রয়োজন হয় এবং প্রায়শই অপচয় GPU সাইকেলের দিকে নিয়ে যায়। Anyscale-এর টool পোস্ট-ট্রেনিংকে ম্যানুয়াল ধাপের সিরিজের পরিবর্তে একটি স্বয়ংক্রিয় পাইপলাইন হিসাবে বিবেচনা করে এই সমস্যার সমাধান করে।
GPU পরিকল্পনা অন্তর্ভুক্ত
টoolটির একটি মূল অংশ হল GPU ব্যবহারের পরিকল্পনা করার ক্ষমতা। এটি একটি নির্দিষ্ট মডেল এবং ফাইন-টিউনিং পদ্ধতির জন্য প্রয়োজনীয় মেমরি এবং কম্পিউট অনুমান করে, তারপর উপযুক্ত সংখ্যা এবং ধরনের GPU সুপারিশ করে। এটি দলগুলিকে অতিরিক্ত প্রোভিশনিং বা মাঝপথে মেমরি শেষ হওয়া এড়াতে সাহায্য করতে পারে। Anyscale এটিকে এমন দলগুলির জন্য একটি ব্যবহারিক সমাধান হিসাবে অবস্থান করছে যাদের ML ইঞ্জিনিয়ারদের একটি সম্পূর্ণ দল উৎসর্গ না করেই মডেল ফাইন-টিউন করতে হবে।
রিলিজ প্রাপ্যতা
টoolটি এখন Anyscale-এর প্ল্যাটফর্মের অংশ হিসাবে উপলব্ধ। ব্যবহারকারীরা কোম্পানির অবকাঠামোতে এটি পরীক্ষা করতে পারেন। টoolটি কীভাবে খুব বড় মডেল বা অস্বাভাবিক হার্ডওয়্যার সেটআপগুলি পরিচালনা করবে তা স্পষ্ট নয়, এবং Anyscale এখনও ম্যানুয়াল ফাইন-টিউনিং ওয়ার্কফ্লোর বিরুদ্ধে বেঞ্চমার্ক তুলনা প্রকাশ করেনি। কোম্পানিটি বলেছে যে এটি ব্যবহারকারীর প্রতিক্রিয়ার ভিত্তিতে টoolটি আপডেট করতে থাকবে।
