Anyscale har udgivet et nyt værktøj designet til at strømline eftertræningsfasen for store sprogmodeller, idet det automatiserer opgaver som metodevalg, GPU-planlægning og konfigurationsgenerering. Virksomheden siger, at det sigter mod at forenkle, hvad der er blevet en kompleks og ressourcekrævende del af at implementere LLM'er i produktion.
Hvad værktøjet automatiserer
Værktøjet fokuserer på finjusteringsprocessen, som typisk kræver, at ingeniører manuelt vælger mellem tilgange som fuld finjustering, LoRA eller QLoRA, og derefter finder den rigtige GPU-opsætning og hyperparametre. Anyscales system overtager disse beslutninger og genererer en konfiguration, der matcher modellen og brugerens hardwarebegrænsninger. Virksomheden hævder, at dette kan reducere trial-and-error-tid og mindske risikoen for fejlkonfigurerede kørsler.
Hvorfor eftertræning er vigtigt nu
Efterhånden som organisationer går fra at eksperimentere med LLM'er til faktisk at implementere dem, er finjustering blevet en flaskehals. Standardmodeller kræver ofte justeringer til specifikke domæner eller opgaver, men processen kræver specialiseret viden og fører ofte til spildte GPU-cyklusser. Anyscales værktøj adresserer dette ved at behandle eftertræning som en automatiseret pipeline snarere end en række manuelle trin.
GPU-planlægning indbygget
En central del af værktøjet er dets evne til at planlægge GPU-brug. Det estimerer den hukommelse og beregning, der kræves for en given model og finjusteringsmetode, og foreslår derefter et passende antal og type GPU'er. Det kan hjælpe teams med at undgå overprovisionering eller at løbe tør for hukommelse midt i en opgave. Anyscale positionerer dette som en praktisk løsning for teams, der har brug for at finjustere modeller uden at dedikere et helt team af ML-ingeniører til opgaven.
Udgivelsestilgængelighed
Værktøjet er nu tilgængeligt som en del af Anyscales platform. Brugere kan teste det på virksomhedens infrastruktur. Det er uklart, hvordan værktøjet vil håndtere meget store modeller eller eksotiske hardwareopsætninger, og Anyscale har endnu ikke offentliggjort benchmark-sammenligninger mod manuelle finjusteringsworkflows. Virksomheden siger, at det vil fortsætte med at opdatere værktøjet baseret på brugerfeedback.
