Satu teknik baru bernama AutoTTS mendakwa berjaya mengurangkan penggunaan token sebanyak 69.5% dalam strategi penaakulan model bahasa besar. Kaedah yang dibangunkan oleh pasukan tanpa nama ini menyasarkan ketidakcekapan utama dalam cara LLM memecahkan penaakulan kompleks kepada langkah-langkah — dan ia dilakukan tanpa sebarang perubahan pada seni bina model asas.
Apa yang AutoTTS lakukan secara berbeza
AutoTTS bermaksud Strategi Pemotongan Token Automatik. Pendekatan ini memendekkan urutan penaakulan rantai pemikiran yang dihasilkan oleh LLM semasa menyelesaikan masalah berbilang langkah. Daripada menghasilkan langkah pertengahan yang berlebih-lebihan, AutoTTS memangkas token yang berlebihan sambil mengekalkan aliran logik. Hasilnya: kurang data yang dihantar melalui model setiap pertanyaan.
Angka 69.5% berasal daripada ujian dalaman merentasi pelbagai penanda aras penaakulan. Pasukan ini tidak mendedahkan penanda aras tepat yang digunakan atau sama ada teknik itu digunakan pada saiz atau keluarga model tertentu.
Mengapa jumlah token penting
Setiap token yang diproses oleh LLM melibatkan kos dan masa. Bagi perniagaan yang menjalankan inferens pada skala besar, walaupun pengurangan kecil dalam penggunaan token boleh mengurangkan bil awan dengan ketara. Pengurangan hampir 70% bermakna kira-kira tiga kali ganda lebih banyak output bagi setiap dolar yang dibelanjakan untuk pengkomputeran. Latensi juga menurun, kerana urutan yang lebih pendek selesai lebih pantas pada perkakasan yang sama.
Pembangun alat berkuasa AI sangat sedar tentang ekonomi token. Mengurangkan overhed token tanpa mengorbankan kualiti penaakulan telah menjadi matlamat kejuruteraan utama. Jika AutoTTS berfungsi seperti yang didakwa, ia boleh mengubah cara syarikat mengoptimumkan saluran paip LLM mereka.
Soalan yang masih berbaki
Yang tidak diketahui besar adalah ketepatan. Fakta hanya menyatakan angka pengurangan token. Pasukan ini belum mengeluarkan keputusan yang menunjukkan sama ada rantaian penaakulan yang dipotong menghasilkan jawapan akhir yang sama seperti versi penuh. Percubaan lepas untuk memampatkan rantai pemikiran kadang-kadang membawa kepada jurang logik atau kesimpulan yang salah.
Satu lagi soalan terbuka adalah kebolehgeneralisasian. Adakah AutoTTS berfungsi merentasi seni bina model yang berbeza — daripada model berat terbuka kepada model proprietari? Pasukan ini belum berkongsi butiran tentang model yang diuji atau jenis tugas penaakulan yang paling mendapat manfaat. Tanpa data itu, adalah terlalu awal untuk memanggil teknik ini sebagai penyelesaian pasang dan guna.
Penyelidik yang ingin mengulangi keputusan perlu metodologi penuh. Pasukan ini belum menyatakan bila atau sama ada mereka bercadang untuk menerbitkan kertas atau melepaskan kod. Sehingga itu, pengurangan 69.5% kekal sebagai tuntutan menarik yang menunggu pengesahan yang lebih luas.
