Μια νέα τεχνική με το όνομα AutoTTS ισχυρίζεται μείωση 69,5% στη χρήση token για στρατηγικές συλλογισμού μεγάλων γλωσσικών μοντέλων. Η μέθοδος, που αναπτύχθηκε από μια ανώνυμη ομάδα, στοχεύει στην κεντρική ανεπάρκεια στο πώς τα LLM αναλύουν σύνθετους συλλογισμούς σε βήματα — και το κάνει χωρίς καμία αλλαγή στην υποκείμενη αρχιτεκτονική του μοντέλου.
Τι κάνει διαφορετικά το AutoTTS
Το AutoTTS σημαίνει Automatic Token Truncation Strategy (Στρατηγική Αυτόματης Περικοπής Token). Η προσέγγιση συντομεύει τις αλληλουχίες συλλογισμού αλυσίδας σκέψης που παράγουν τα LLM όταν επιλύουν προβλήματα πολλαπλών βημάτων. Αντί να παράγει εκτενέστατα ενδιάμεσα βήματα, το AutoTTS περικόπτει τα περιττά token διατηρώντας παράλληλα τη λογική ροή. Το αποτέλεσμα: λιγότερα δεδομένα που αποστέλλονται μέσω του μοντέλου ανά ερώτημα.
Το ποσοστό 69,5% προέρχεται από εσωτερικές δοκιμές σε ένα φάσμα benchmarks συλλογισμού. Η ομάδα δεν έχει αποκαλύψει τα ακριβή benchmarks που χρησιμοποιήθηκαν ή αν η τεχνική εφαρμόστηκε σε κάποιο συγκεκριμένο μέγεθος ή οικογένεια μοντέλου.
Γιατί έχει σημασία ο αριθμός token
Κάθε token που επεξεργάζεται ένα LLM κοστίζει χρήματα και χρόνο. Για επιχειρήσεις που εκτελούν συμπερασματολογία σε κλίμακα, ακόμα και μια μέτρια μείωση στη χρήση token μπορεί να μειώσει δραστικά τους λογαριασμούς cloud. Μια μείωση σχεδόν 70% θα σήμαινε περίπου τρεις φορές περισσότερη έξοδο ανά δολάριο που δαπανάται για υπολογιστική ισχύ. Η καθυστέρηση επίσης μειώνεται, καθώς οι μικρότερες αλληλουχίες ολοκληρώνονται ταχύτερα στο ίδιο υλικό.
Οι προγραμματιστές εργαλείων που βασίζονται σε AI γνωρίζουν καλά τα οικονομικά των token. Η μείωση του επιπλέον κόστους token χωρίς θυσία στην ποιότητα συλλογισμού αποτελεί σημαντικό μηχανικό στόχο. Εάν το AutoTTS λειτουργεί όπως ισχυρίζεται, θα μπορούσε να αλλάξει τον τρόπο με τον οποίο οι εταιρείες βελτιστοποιούν τις αγωγές LLM τους.
Υπόλοιπα ερωτήματα
Το μεγάλο άγνωστο είναι η ακρίβεια. Τα δεδομένα αναφέρουν μόνο το ποσοστό μείωσης token. Η ομάδα δεν έχει δημοσιεύσει αποτελέσματα που να δείχνουν αν οι περικομμένες αλυσίδες συλλογισμού παράγουν τις ίδιες τελικές απαντήσεις με τις πλήρεις εκδόσεις. Προηγούμενες απόπειρες συμπίεσης της αλυσίδας σκέψης έχουν μερικές φορές οδηγήσει σε λογικά κενά ή λανθασμένα συμπεράσματα.
Ένα άλλο ανοιχτό ερώτημα είναι η γενικευσιμότητα. Λειτουργεί το AutoTTS σε διαφορετικές αρχιτεκτονικές μοντέλων — από μοντέλα ανοιχτού βάρους έως ιδιόκτητα; Η ομάδα δεν έχει μοιραστεί λεπτομέρειες για τα μοντέλα που δοκιμάστηκαν ή για τους τύπους συλλογιστικών εργασιών που ωφελούνται περισσότερο. Χωρίς αυτά τα δεδομένα, είναι πολύ νωρίς για να χαρακτηριστεί η τεχνική ως λύση plug-and-play.
Οι ερευνητές που θέλουν να αναπαραγάγουν τα αποτελέσματα θα χρειαστούν την πλήρη μεθοδολογία. Η ομάδα δεν έχει δηλώσει πότε ή αν σχεδιάζει να δημοσιεύσει άρθρο ή να κυκλοφορήσει κώδικα. Μέχρι τότε, η μείωση 69,5% παραμένει ένας ενδιαφέρων ισχυρισμός που αναμένει ευρύτερη επικύρωση.
