เอกสารจาก Harvard เสนอ Explorative Modeling แกนการขยายขนาดใหม่สำหรับ Generative AI

เอกสารฉบับใหม่จากนักวิจัยมหาวิทยาลัยฮาร์วาร์ดเสนอแกนการขยายขนาดสำหรับโมเดลเจเนอเรทีฟที่เรียกว่า Explorative Modeling ตามเอกสารนี้ แนวทางดังกล่าวอาจทำให้โมเดลมีประสิทธิภาพมากขึ้น ใช้ต้นทุนต่ำลง และสามารถรองรับงานที่หลากหลายมากขึ้น

แนวทางที่แตกต่างในการขยายขนาด

เป็นเวลาหลายปีที่วิธีมาตรฐานในการปรับปรุงโมเดลเจเนอเรทีฟ—ระบบที่อยู่เบื้องหลังการสร้างข้อความ รูปภาพ และวิดีโอ—คือการเพิ่มขนาด ป้อนข้อมูลมากขึ้น หรือให้พลังการคำนวณมากขึ้น Explorative Modeling เสนอว่ามีอีกหนึ่งกลไก: ปริมาณที่โมเดลสำรวจพื้นที่ผลลัพธ์ระหว่างการสร้าง เอกสารไม่ได้ลงรายละเอียดกลไกที่แน่นอน แต่ระบุว่าการสำรวจเป็นมิติของการขยายขนาดที่สามารถเพิ่มได้อย่างตั้งใจ เช่นเดียวกับจำนวนพารามิเตอร์หรือข้อมูลฝึก

ประสิทธิภาพและต้นทุนที่ลดลง

เอกสารอ้างว่า Explorative Modeling สามารถลดต้นทุนการคำนวณได้ ซึ่งมีความสำคัญเพราะการฝึกและรันโมเดลขนาดใหญ่มีค่าใช้จ่ายสูง หากการสำรวจสามารถขยายได้โดยไม่ต้องเพิ่มพลังการคำนวณตามไปด้วย เศรษฐศาสตร์ของการใช้งานโมเดลเหล่านี้อาจเปลี่ยนไป เอกสารยังกล่าวว่าประสิทธิภาพและคุณภาพอาจดีขึ้น แม้ไม่ได้ระบุว่ามากเพียงใด

การใช้งานที่กว้างขึ้นบนโต๊ะ

นอกเหนือจากต้นทุนและประสิทธิภาพ เอกสารชี้ว่า Explorative Modeling อาจขยายขอบเขตการประยุกต์ใช้ของโมเดลเจเนอเรทีฟ ซึ่งอาจหมายถึงการจัดการงานเฉพาะทางได้ดีขึ้นไปจนถึงกรณีการใช้งานใหม่ทั้งหมด เอกสารไม่ได้ให้ตัวอย่างเฉพาะ แต่เป็นการอ้างว่าสามารถขยายสิ่งที่โมเดลเหล่านี้ทำได้

ความหมายต่อวงการ

Explorative Modeling ยังเป็นเพียงข้อเสนอ ไม่ใช่เทคนิคที่พิสูจน์แล้ว เอกสารยังไม่ผ่านการตรวจสอบโดยผู้ทรงคุณวุฒิ และยังไม่ชัดเจนว่าแนวทางนี้จะถูกทดสอบในระบบจริงเมื่อใด แต่ก็เป็นทิศทางใหม่สำหรับวงการที่มุ่งเน้นการขยายขนาดแบบใช้พลังมากเป็นหลัก คำถามใหญ่คือการสำรวจสามารถขยายในทางปฏิบัติได้ง่ายเท่ากับในทางทฤษฎีหรือไม่