Anyscale a lansat un nou instrument conceput pentru a eficientiza faza de post-antrenare a modelelor lingvistice mari, automatizând sarcini precum selectarea metodologiei, planificarea GPU și generarea configurației. Compania afirmă că își propune să simplifice ceea ce a devenit o parte complexă și consumatoare de resurse în implementarea LLM-urilor în producție.
Ce automatizează instrumentul
Instrumentul se concentrează pe procesul de ajustare fină, care necesită de obicei ca inginerii să aleagă manual între abordări precum ajustarea fină completă, LoRA sau QLoRA, apoi să stabilească configurația corectă a GPU-ului și hiperparametrii. Sistemul Anyscale preia aceste decizii, generând o configurație care se potrivește modelului și constrângerilor hardware ale utilizatorului. Compania susține că acest lucru poate reduce timpul de încercare-eroare și riscul de rulări configurate greșit.
De ce contează acum post-antrenarea
Pe măsură ce organizațiile trec de la experimentarea cu LLM-uri la implementarea efectivă, ajustarea fină a devenit un blocaj. Modelele gata făcute necesită adesea ajustări pentru domenii sau sarcini specifice, dar procesul necesită cunoștințe specializate și duce frecvent la cicluri GPU risipite. Instrumentul Anyscale abordează această problemă tratând post-antrenarea ca pe un pipeline automatizat, nu ca pe o serie de pași manuali.
Planificare GPU integrată
O parte cheie a instrumentului este capacitatea sa de a planifica utilizarea GPU-ului. Acesta estimează memoria și puterea de calcul necesare pentru un model și o metodă de ajustare fină date, apoi sugerează un număr și un tip adecvat de GPU-uri. Acest lucru ar putea ajuta echipele să evite supra-dimensionarea sau epuizarea memoriei în timpul execuției. Anyscale poziționează acest instrument ca o soluție practică pentru echipele care trebuie să ajusteze fin modele fără a dedica o echipă întreagă de ingineri ML acestei sarcini.
Disponibilitatea lansării
Instrumentul este disponibil acum ca parte a platformei Anyscale. Utilizatorii îl pot testa pe infrastructura companiei. Nu este clar cum va gestiona instrumentul modele foarte mari sau configurații hardware exotice, iar Anyscale nu a publicat încă comparații de referință față de fluxurile de lucru manuale de ajustare fină. Compania spune că va continua să actualizeze instrumentul pe baza feedback-ului utilizatorilor.
