أطلقت Anyscale أداة جديدة مصممة لتبسيط مرحلة التدريب اللاحق للنماذج اللغوية الكبيرة، حيث تقوم بأتمتة مهام مثل اختيار المنهجية، وتخطيط وحدات معالجة الرسوميات (GPU)، وتوليد التكوينات. وتقول الشركة إنها تهدف إلى تبسيط ما أصبح جزءًا معقدًا ومستهلكًا للموارد في نشر النماذج اللغوية الكبيرة في بيئات الإنتاج.
ما تقوم الأداة بأتمتته
تركز الأداة على عملية الضبط الدقيق، والتي تتطلب عادةً من المهندسين الاختيار يدويًا بين أساليب مثل الضبط الكامل، أو LoRA، أو QLoRA، ثم تحديد إعدادات GPU المناسبة والمعلمات الفائقة. يتولى نظام Anyscale هذه القرارات، ويولد تكوينًا يتوافق مع النموذج وقيود الأجهزة الخاصة بالمستخدم. تدعي الشركة أن هذا يمكن أن يقلل من وقت التجربة والخطأ ويقلل من مخاطر عمليات التشغيل غير المهيأة بشكل صحيح.
لماذا أصبح التدريب اللاحق مهمًا الآن
مع انتقال المؤسسات من تجربة النماذج اللغوية الكبيرة إلى نشرها فعليًا، أصبح الضبط الدقيق عنق زجاجة. غالبًا ما تحتاج النماذج الجاهزة إلى تعديلات لمجالات أو مهام محددة، لكن العملية تتطلب معرفة متخصصة وتؤدي غالبًا إلى إهدار دورات GPU. تعالج أداة Anyscale هذه المشكلة من خلال معالجة التدريب اللاحق كخط أنابيب آلي بدلاً من سلسلة من الخطوات اليدوية.
تخطيط GPU مدمج
جزء أساسي من الأداة هو قدرتها على تخطيط استخدام GPU. تقوم بتقدير الذاكرة والطاقة الحاسوبية المطلوبة لنموذج معين وطريقة ضبط معينة، ثم تقترح عددًا ونوعًا مناسبين من وحدات GPU. يمكن أن يساعد ذلك الفرق في تجنب الإفراط في التزويد أو نفاد الذاكرة أثناء المهمة. تضع Anyscale هذا كحل عملي للفرق التي تحتاج إلى ضبط النماذج دون تخصيص فريق كامل من مهندسي التعلم الآلي للمهمة.
توفر الإصدار
الأداة متاحة الآن كجزء من منصة Anyscale. يمكن للمستخدمين اختبارها على البنية التحتية للشركة. من غير الواضح كيف ستتعامل الأداة مع النماذج الكبيرة جدًا أو إعدادات الأجهزة غير التقليدية، ولم تنشر Anyscale بعد مقارنات مرجعية مقابل سير العمل اليدوي للضبط الدقيق. تقول الشركة إنها ستواصل تحديث الأداة بناءً على ملاحظات المستخدمين.
