Uusi AutoTTS-tekniikka väittää vähentävänsä tunnusten käyttöä 69,5 prosenttia suurten kielimallien päättelystrategioissa. Menetelmän on kehittänyt nimeämätön tiimi, ja se kohdistuu ydintehottomuuteen siinä, miten LLM:t jakavat monimutkaisen päättelyn vaiheisiin – ja se tekee tämän ilman muutoksia taustalla olevaan mallin arkkitehtuuriin.
Mitä AutoTTS tekee toisin
AutoTTS tulee sanoista Automatic Token Truncation Strategy (automaattinen tunnusten katkaisustrategia). Lähestymistapa lyhentää niitä ajatusketjupäättelysarjoja, joita LLM:t tuottavat ratkaistessaan monivaiheisia ongelmia. Sen sijaan, että se tuottaisi runsassanaisia välivaiheita, AutoTTS karsii tarpeettomia tokeneita säilyttäen loogisen kulun. Tuloksena: vähemmän dataa lähetetään mallin läpi kyselyä kohden.
Luku 69,5 % perustuu sisäisiin testeihin, jotka on tehty useilla päättelyn vertailuarvoilla. Tiimi ei ole paljastanut käytettyjä vertailuarvoja eikä sitä, onko tekniikkaa sovellettu mihinkään tiettyyn mallikokoon tai -perheeseen.
Miksi tokenien määrä on tärkeä
Jokainen LLM:n käsittelemä token maksaa rahaa ja aikaa. Yrityksille, jotka suorittavat päättelyä suuressa mittakaavassa, jopa pieni vähennys tokenien käytössä voi leikata pilvipalvelulaskuja. Lähes 70 prosentin vähennys tarkoittaisi noin kolminkertaista tuotosta käytettyä laskentadollaria kohden. Myös viive pienenee, koska lyhyemmät sarjat valmistuvat nopeammin samalla laitteistolla.
Keinoälypohjaisten työkalujen kehittäjät ovat hyvin tietoisia tokenien taloudesta. Tokenien ylimääräisen käytön vähentäminen ilman päättelyn laadun heikkenemistä on ollut merkittävä suunnittelutavoite. Jos AutoTTS toimii väitetysti, se voi muuttaa tapaa, jolla yritykset optimoivat LLM-putkistojaan.
Jäljellä olevat kysymykset
Suuri tuntematon on tarkkuus. Tiedot kertovat vain tokenien vähennysluvun. Tiimi ei ole julkaissut tuloksia, jotka osoittaisivat, tuottavatko katkaistut päättelyketjut samat loppuvastaukset kuin täysversiot. Aiemmat yritykset tiivistää ajatusketjua ovat toisinaan johtaneet loogisiin aukkoihin tai vääriin johtopäätöksiin.
Toinen avoin kysymys on yleistettävyys. Toimiiko AutoTTS eri mallien arkkitehtuureilla – avoimen painon malleista omistettuihin malleihin? Tiimi ei ole kertonut yksityiskohtia testatuista malleista tai siitä, minkä tyyppisistä päättelytehtävistä on eniten hyötyä. Ilman näitä tietoja on liian aikaista kutsua tekniikkaa liitännäisratkaisuksi (plug-and-play).
Tutkijoiden, jotka haluavat toistaa tulokset, tarvitaan koko metodologia. Tiimi ei ole ilmoittanut, milloin tai aikovatko he julkaista paperin tai vapauttaa koodia. Siihen asti 69,5 prosentin vähennys on mielenkiintoinen väite, joka odottaa laajempaa vahvistusta.
