Anyscale ได้เปิดตัวเครื่องมือใหม่ที่ออกแบบมาเพื่อปรับปรุงขั้นตอนหลังการฝึกสำหรับโมเดลภาษาขนาดใหญ่ โดยอัตโนมัติงานเช่น การเลือกวิธีการ วางแผนการใช้ GPU และสร้างการตั้งค่า บริษัทระบุว่าเป้าหมายคือการทำให้ส่วนที่กลายเป็นขั้นตอนที่ซับซ้อนและใช้ทรัพยากรมากของการนำโมเดลภาษาขนาดใหญ่มาใช้งานจริงนั้นง่ายขึ้น
สิ่งที่เครื่องมือนี้ทำให้เป็นระบบอัตโนมัติ
เครื่องมือมุ่งเน้นไปที่กระบวนการปรับแต่ง ซึ่งมักต้องการให้วิศวกรเลือกวิธีการต่างๆ ด้วยตนเอง เช่น การปรับแต่งแบบเต็ม (full fine-tuning), LoRA หรือ QLoRA จากนั้นจึงต้องหาการตั้งค่า GPU และพารามิเตอร์ไฮเปอร์ที่เหมาะสม ระบบของ Anyscale จะรับหน้าที่ตัดสินใจเหล่านี้แทน โดยสร้างการตั้งค่าที่สอดคล้องกับโมเดลและความจำกัดด้านฮาร์ดแวร์ของผู้ใช้ บริษัทอ้างว่าสิ่งนี้สามารถลดเวลาการทดลองผิดๆ ถูกๆ ลง และลดความเสี่ยงของการตั้งค่าผิดพลาด
เหตุผลที่ขั้นตอนหลังการฝึกมีความสำคัญในปัจจุบัน
เมื่อองค์กรเริ่มเปลี่ยนจากการทดลองใช้โมเดลภาษาขนาดใหญ่เป็นการนำไปใช้งานจริง การปรับแต่งได้กลายเป็นจุดกั้น โมเดลสำเร็จรูปมักต้องการการปรับเปลี่ยนให้เหมาะกับโดเมนหรืองานเฉพาะ แต่กระบวนการนี้ต้องการความรู้เฉพาะทางและมักนำไปสู่การใช้ทรัพยากร GPU เสียเปล่า Anyscale ได้ออกแบบเครื่องมือนี้เพื่อแก้ปัญหานี้ โดยพิจารณาขั้นตอนหลังการฝึกเป็นกระบวนการอัตโนมัติ แทนที่จะเป็นขั้นตอนที่ต้องทำด้วยมือทีละขั้น
การวางแผนการใช้ GPU ที่ผสานไว้ในเครื่องมือ
ส่วนสำคัญของเครื่องมือคือความสามารถในการวางแผนการใช้ GPU ซึ่งจะคำนวณหน่วยความจำและพลังการประมวลผลที่จำเป็นสำหรับโมเดลและวิธีการปรับแต่งที่กำหนด จากนั้นจะแนะนำจำนวนและประเภท GPU ที่เหมาะสม สิ่งนี้ช่วยให้ทีมหลีกเลี่ยงการจัดสรรทรัพยากรเกินความจำเป็น หรือการหมดหน่วยความจำระหว่างการทำงาน Anyscale ได้เน้นย้ำว่านี่เป็นวิธีแก้ปัญหาที่เป็นจริงสำหรับทีมที่ต้องการปรับแต่งโมเดลโดยไม่ต้องใช้ทีมวิศวกร ML เต็มรูปแบบ
ความพร้อมในการเปิดตัว
เครื่องมือนี้พร้อมใช้งานแล้วในแพลตฟอร์มของ Anyscale ผู้ใช้สามารถทดสอบได้บนโครงสร้างพื้นฐานของบริษัท ยังไม่ชัดเจนว่าเครื่องมือจะจัดการกับโมเดลขนาดใหญ่มากหรือการตั้งค่าฮาร์ดแวร์ที่ไม่ธรรมดาได้อย่างไร และ Anyscale ยังไม่ได้เผยแพร่ผลเปรียบเทียบมาตรฐานกับกระบวนการทำงานการปรับแต่งด้วยมือ บริษัทระบุว่าจะอัปเดตเครื่องมือต่อไปตามข้อเสนอแนะจากผู้ใช้
