Together AI ได้เปิดตัว Dedicated Container Inference (DCI) ซึ่งเป็นบริการที่ช่วยให้นักพัฒนาสามารถปรับใช้โมเดลใดๆ จาก Hugging Face ได้ภายในไม่กี่นาที บริการนี้ใช้เครื่องมือที่ชื่อว่า Goose เพื่อจัดการกระบวนการปรับใช้ และ Netflix's Void-Model ถูกยกขึ้นมาเป็นตัวอย่างของสิ่งที่สามารถปรับใช้ได้
กระบวนการปรับใช้ทำงานอย่างไร
DCI สร้างขึ้นบนพื้นฐานของการอนุมานแบบคอนเทนเนอร์ (containerized inference) — นักพัฒนาจะแพ็คเกจโมเดลจาก Hugging Face และส่งไปยังบริการ ซึ่ง Goose จะเข้ามาทำงานต่อ Goose จะทำให้ขั้นตอนต่างๆ ที่จำเป็นเพื่อให้โมเดลทำงานในคอนเทนเนอร์เฉพาะ (dedicated container) เป็นไปโดยอัตโนมัติ Together ระบุว่าทั้งหมดนี้ใช้เวลาเพียงไม่กี่นาที ไม่ใช่ชั่วโมงหรือวัน
บริษัทยังไม่ได้เปิดเผยราคาหรือวันเปิดตัวที่แน่นอนสำหรับการให้บริการทั่วไป แต่นักทดสอบในช่วงแรกได้ใช้บริการนี้เพื่อรันโมเดลอย่าง Netflix's Void-Model โมเดลดังกล่าวซึ่ง Netflix เปิดเผยเป็นโอเพนซอร์สบน Hugging Face ได้รับการออกแบบมาสำหรับงานที่เกี่ยวข้องกับวิดีโอโดยเฉพาะ — รายละเอียดที่แน่ชัดเกี่ยวกับฟังก์ชันของมันไม่ได้เป็นส่วนหนึ่งของการประกาศ
เหตุใด Goose จึงมีความสำคัญ
Goose เป็นเครื่องมือที่เชื่อมช่องว่างระหว่างโมเดลบน Hugging Face กับคอนเทนเนอร์ที่ทำงานอยู่บนโครงสร้างพื้นฐานของ Together แทนที่จะต้องกำหนดค่าเซิร์ฟเวอร์ด้วยตนเอง นักพัฒนาจะชี้ Goose ไปยังโมเดลที่ต้องการ และมันจะจัดการส่วนที่เหลือ ซึ่งรวมถึงการดึงโมเดล การตั้งค่าสภาพแวดล้อม และการเปิดเผย endpoint
สำหรับนักพัฒนาที่ทำงานกับ Hugging Face อยู่แล้ว การบูรณาการนี้หมายความว่าพวกเขาสามารถข้ามงาน DevOps ส่วนใหญ่ไปได้ อย่างน้อยในทางทฤษฎี พวกเขาไม่ต้องกังวลเกี่ยวกับอิมเมจคอนเทนเนอร์ การปรับขนาด หรือการปรับสมดุลโหลด Together กำลังเดิมพันว่าความเรียบง่ายนี้จะชนะใจนักพัฒนาที่เบื่อหน่ายกับการต่อสู้กับโครงสร้างพื้นฐานในการปรับใช้
Netflix's Void-Model ในฐานะตัวอย่าง
Netflix's Void-Model ไม่ใช่ตัวอย่างทั่วไป — มันเป็นโมเดลการผลิตจริงที่ Netflix ได้ปรับใช้แล้ว การทำให้มันพร้อมใช้งานบน Hugging Face และแสดงให้เห็นว่ามันสามารถทำงานบน DCI ได้ Together กำลังพยายามพิสูจน์ว่าบริการนี้ทำงานได้กับโมเดลที่จริงจัง ไม่ใช่แค่ตัวอย่างเล่นๆ
ทั้งสองบริษัทไม่ได้ระบุว่า Netflix ใช้ DCI ของ Together ในการผลิตหรือไม่ การประกาศดังกล่าววาง Void-Model เป็นเพียงตัวอย่างของสิ่งที่บริการสามารถรองรับได้ ซึ่งทำให้เกิดคำถามว่า Netflix เป็นลูกค้าหรือเพียงผู้ให้บริการโมเดลอ้างอิง
Together ยังไม่ได้กำหนดวันที่สำหรับบริการที่จะออกจากช่วงการเข้าถึงแบบจำกัดในปัจจุบัน นักพัฒนาที่ต้องการทดลองใช้ DCI สามารถขอสิทธิ์การเข้าถึงผ่านเว็บไซต์ของ Together บริษัทกำลังจับตาดูว่าผู้ใช้งานในช่วงแรกจัดการกับไปป์ไลน์การปรับใช้อย่างไร ก่อนที่จะเปิดให้บริการอย่างเต็มรูปแบบ
คำถามที่ยังไม่มีคำตอบคือ DCI เปรียบเทียบกับบริการอนุมานแบบคอนเทนเนอร์อื่นๆ จากคู่แข่งอย่าง Replicate หรือ AWS SageMaker อย่างไร Together ไม่ได้ให้เกณฑ์มาตรฐานหรือราคาในการประกาศ จนกว่าตัวเลขเหล่านั้นจะออกมา นักพัฒนามีเพียงข้ออ้างเรื่องความเร็ว — ไม่กี่นาที — ไว้เป็นเกณฑ์ตัดสิน
