นักวิจัย Meta เสนอแนวทางแก้ไขสำหรับการเรียนรู้แบบเสริมกำลังในการเพิ่มประสิทธิภาพโค้ด

ทำไมการเรียนรู้แบบเสริมกำลังจึงประสบปัญหากับโค้ด

การเรียนรู้แบบเสริมกำลัง หรือ RL ได้แสดงศักยภาพในด้านต่างๆ เช่น การเล่นเกมและหุ่นยนต์ แต่เมื่อพูดถึงการปรับปรุงโค้ด — การทำให้ทำงานเร็วขึ้นหรือใช้หน่วยความจำน้อยลง — RL มักจะพบอุปสรรค นักวิจัยของ Meta อธิบายว่าปัญหาอยู่ที่วิธีที่เอเจนต์ RL สำรวจการเปลี่ยนแปลงโค้ดที่เป็นไปได้ พื้นที่การค้นหามีขนาดใหญ่มาก และการเปลี่ยนแปลงเล็กน้อยอาจมีผลกระทบที่ไม่สามารถคาดเดาได้ต่อประสิทธิภาพ สัญญาณรางวัลแบบเดิมไม่ได้ให้คำแนะนำเพียงพอแก่เอเจนต์ในการค้นหาวิธีแก้ปัญหาที่มีประสิทธิภาพอย่างสม่ำเสมอ

แนวทางแก้ไขที่เสนอ

บทความวิจัยนี้สรุปวิธีการใหม่ที่ออกแบบมาเพื่อเอาชนะอุปสรรคเหล่านี้ แทนที่จะพึ่งพาการลองผิดลองถูกเพียงอย่างเดียว วิธีการนี้แนะนำแนวทางที่มีโครงสร้างเพื่อนำทางเอเจนต์ RL ไปสู่การแปลงโค้ดที่ดีขึ้น นักวิจัยอธิบายเทคนิคที่รวมฮิวริสติกที่เรียนรู้ได้กับกลยุทธ์การสำรวจที่ตรงเป้าหมายมากขึ้น การทดสอบเบื้องต้นแสดงให้เห็นว่าวิธีนี้สามารถสร้างการปรับปรุงโค้