Egy új, AutoTTS névre hallgató technika a nagy nyelvi modellek (LLM) érvelési stratégiáiban 69,5%-os tokenhasználat-csökkenést ígér. A névtelen csapat által kifejlesztett módszer az LLM-ek összetett érvelés lépésekre bontásának alapvető hatékonytalanságát célozza – anélkül, hogy magán a modellarchitektúrán változtatna.
Mit csinál másként az AutoTTS?
Az AutoTTS az Automatic Token Truncation Strategy (automatikus token-tömörítési stratégia) rövidítése. A megközelítés lerövidíti azokat a következtetési láncokat, amelyeket az LLM-ek a több lépésből álló problémák megoldása során generálnak. Ahelyett, hogy terjengős köztes lépéseket hozna létre, az AutoTTS levágja a redundáns tokeneket, miközben megőrzi a logikai folyamatot. Az eredmény: kevesebb adat jut keresztül a modellen lekérdezésenként.
A 69,5%-os érték belső tesztekből származik, amelyeket számos érvelési benchmarkon végeztek. A csapat nem hozta nyilvánosságra a felhasznált benchmarkok pontos listáját, sem azt, hogy a technikát alkalmazták-e valamely konkrét modellméretre vagy -családra.
Miért fontos a tokenek száma?
Egyetlen LLM-ben feldolgozott token is költséggel és idővel jár. Azoknál a vállalkozásoknál, amelyek nagy léptékben futtatnak következtetéseket, már a tokenhasználat szerény csökkentése is drasztikusan csökkentheti a felhőszámlákat. A közel 70%-os csökkentés azt jelentené, hogy nagyjából háromszor több kimenet jutna minden költött számítási dollárra. A késleltetés is csökken, mivel a rövidebb szekvenciák gyorsabban futnak le ugyanazon a hardveren.
A mesterséges intelligenciával működő eszközök fejlesztői tisztában vannak a token-gazdaságtannal. A token-többlet csökkentése az érvelési minőség feláldozása nélkül kiemelt mérnöki cél volt. Ha az AutoTTS valóban úgy működik, ahogy állítják, az megváltoztathatja, hogy a vállalatok hogyan optimalizálják LLM-folyamataikat.
Nyitott kérdések
A nagy ismeretlen a pontosság. A közlemények csak a token-csökkentés mértékét említik. A csapat nem hozott nyilvánosságra olyan eredményeket, amelyekből kiderülne, hogy a megrövidített következtetési láncok ugyanazokat a végső válaszokat adják-e, mint a teljes verziók. A korábbi kísérletek a gondolatmenet tömörítésére néha logikai hézagokhoz vagy téves következtetésekhez vezettek.
Egy másik nyitott kérdés az általánosíthatóság. Az AutoTTS különböző modellarchitektúrákon működik – a nyitott súlyú modellektől a szabadalmaztatottakig? A csapat nem osztott meg részleteket a tesztelt modellekről vagy azokról az érvelési feladatokról, amelyek a legtöbbet profitálnak a technikából. Ezen adatok nélkül még korai lenne a módszert kész megoldásként jellemezni.
A kutatóknak, akik meg szeretnék ismételni az eredményeket, szükségük lesz a teljes módszertanra. A csapat nem jelezte, hogy mikor vagy egyáltalán terveznek-e tanulmányt publikálni vagy kódot kiadni. Addig is a 69,5%-os csökkentés egy érdekes állítás marad, amely szélesebb körű validálásra vár.
