Anyscale har lansert et nytt verktøy designet for å strømlinjeforme ettertreningsfasen for store språkmodeller, og automatiserer oppgaver som metodikkvalg, GPU-planlegging og konfigurasjonsgenerering. Selskapet sier at målet er å forenkle det som har blitt en kompleks og ressurskrevende del av å sette LLM-er i produksjon.
Hva verktøyet automatiserer
Verktøyet fokuserer på fintuningsprosessen, som vanligvis krever at ingeniører manuelt velger mellom tilnærminger som full fintuning, LoRA eller QLoRA, for så å finne riktig GPU-oppsett og hyperparametere. Anyscales system tar over disse beslutningene og genererer en konfigurasjon som matcher modellen og brukerens maskinvarebegrensninger. Selskapet hevder at dette kan redusere tidsbruken på prøving og feiling, og minske risikoen for feilkonfigurerte kjøringer.
Hvorfor ettertrening er viktig nå
Ettersom organisasjoner går fra å eksperimentere med LLM-er til faktisk å ta dem i bruk, har fintuning blitt en flaskehals. Ferdige modeller trenger ofte justeringer for spesifikke domener eller oppgaver, men prosessen krever spesialisert kunnskap og fører ofte til bortkastede GPU-sykluser. Anyscales verktøy adresserer dette ved å behandle ettertrening som en automatisert pipeline i stedet for en serie manuelle trinn.
GPU-planlegging innebygd
En sentral del av verktøyet er evnen til å planlegge GPU-bruk. Det estimerer minne- og beregningsbehovet for en gitt modell og fintuningsmetode, og foreslår deretter et passende antall og type GPU-er. Dette kan hjelpe team med å unngå overprovisjonering eller å gå tom for minne midt i en jobb. Anyscale posisjonerer dette som en praktisk løsning for team som trenger å fintune modeller uten å sette av et helt team av ML-ingeniører til oppgaven.
Tilgjengelighet
Verktøyet er tilgjengelig nå som en del av Anyscales plattform. Brukere kan teste det på selskapets infrastruktur. Det er uklart hvordan verktøyet vil håndtere svært store modeller eller eksotiske maskinvareoppsett, og Anyscale har ennå ikke publisert sammenlignende målinger mot manuelle fintuning-arbeidsflyter. Selskapet sier at de vil fortsette å oppdatere verktøyet basert på tilbakemeldinger fra brukere.
