Meta telah menerbitkan makalah baru yang mengidentifikasi mengapa pembelajaran penguatan sering gagal dalam optimasi kode dan menawarkan metode untuk mengatasi kekurangan tersebut. Karya ini dapat mengubah cara perangkat lunak dikembangkan dengan membuat perbaikan kode otomatis lebih andal.
Mengapa pembelajaran penguatan kesulitan dengan kode
Pembelajaran penguatan, atau RL, telah menunjukkan potensi di bidang seperti bermain game dan robotika. Namun ketika berbicara tentang optimasi kode — membuatnya berjalan lebih cepat atau menggunakan lebih sedikit memori — RL cenderung menemui hambatan. Para peneliti Meta menjelaskan bahwa masalahnya terletak pada cara agen RL mengeksplorasi kemungkinan perubahan kode. Ruang pencarian sangat besar, dan perubahan kecil dapat memiliki efek yang tidak dapat diprediksi pada kinerja. Sinyal hadiah tradisional tidak memberikan panduan yang cukup bagi agen untuk menemukan solusi efisien secara konsisten.
Solusi yang diusulkan
Makalah ini menguraikan metode baru yang dirancang untuk mengatasi hambatan ini. Alih-alih hanya mengandalkan trial and error, pendekatan ini memperkenalkan cara terstruktur untuk memandu agen RL menuju transformasi kode yang lebih baik. Para peneliti menjelaskan teknik yang menggabungkan heuristik yang dipelajari dengan strategi eksplorasi yang lebih terarah. Uji coba awal menunjukkan bahwa metode ini dapat menghasilkan optimasi kode yang setara atau melebihi perbaikan yang ditulis manusia dalam beberapa benchmark.
Dampak potensial pada pengembangan perangkat lunak
Jika teknik ini bertahan dalam pengujian yang lebih luas, teknik ini dapat memberi pengembang alat baru yang kuat. Optimasi kode otomatis dapat mengurangi waktu yang dihabiskan untuk menyesuaikan bagian-bagian penting kinerja dari basis kode besar secara manual. Itu akan membebaskan para insinyur untuk fokus pada fitur dan arsitektur. Makalah ini mencatat bahwa metode ini masih eksperimental, tetapi hasilnya menunjukkan jalur menuju optimasi berbasis RL yang lebih praktis dalam proyek perangkat lunak dunia nyata.
Makalah ini sekarang tersedia di situs riset Meta. Pengembang dan peneliti kemungkinan akan mulai menguji metode ini di lingkungan mereka sendiri, mencari cara untuk menerapkannya pada segala hal mulai dari aplikasi seluler hingga infrastruktur cloud.
