Anyscale ka publikuar një mjet të ri të krijuar për të thjeshtuar fazën e trajnimit pasues për modelet e mëdha gjuhësore, duke automatizuar detyra si zgjedhja e metodologjisë, planifikimi i GPU-së dhe gjenerimi i konfigurimit. Kompania thotë se synon të thjeshtojë atë që është bërë një pjesë komplekse dhe intensive në burime të vendosjes së LLM-ve në prodhim.
Çfarë automatizon mjeti
Mjeti fokusohet në procesin e akordimit, i cili zakonisht kërkon që inxhinierët të zgjedhin manualisht midis qasjeve si akordimi i plotë, LoRA ose QLoRA, pastaj të përcaktojnë konfigurimin e duhur të GPU-së dhe hiperparametrat. Sistemi i Anyscale i merr përsipër këto vendime, duke gjeneruar një konfigurim që përputhet me modelin dhe kufizimet harduerike të përdoruesit. Kompania pretendon se kjo mund të zvogëlojë kohën e provës dhe gabimit dhe të reduktojë rrezikun e ekzekutimeve të keqkonfiguruara.
Pse trajnimi pasues ka rëndësi tani
Ndërsa organizatat kalojnë nga eksperimentimi me LLM-të në vendosjen e tyre aktuale, akordimi është bërë një pengesë. Modelet e gatshme shpesh kanë nevojë për rregullime për fusha ose detyra specifike, por procesi kërkon njohuri të specializuara dhe shpesh çon në cikle të humbura të GPU-së. Mjeti i Anyscale e adreson këtë duke e trajtuar trajnimin pasues si një pipeline të automatizuar në vend të një serie hapash manualë.
Planifikimi i GPU-së i integruar
Një pjesë kyçe e mjetit është aftësia e tij për të planifikuar përdorimin e GPU-së. Ai vlerëson memorien dhe fuqinë llogaritëse të nevojshme për një model dhe metodë akordimi të caktuar, pastaj sugjeron një numër dhe lloj të përshtatshëm të GPU-ve. Kjo mund të ndihmojë ekipet të shmangin mbipajisjen ose mbarimin e memories gjatë punës. Anyscale e pozicionon këtë si një zgjidhje praktike për ekipet që duhet të akordojnë modele pa i dedikuar një ekip të tërë inxhinierësh ML detyrës.
Disponueshmëria e publikimit
Mjeti është i disponueshëm tani si pjesë e platformës së Anyscale. Përdoruesit mund ta testojnë atë në infrastrukturën e kompanisë. Nuk është e qartë se si mjeti do të trajtojë modelet shumë të mëdha ose konfigurimet harduerike ekzotike, dhe Anyscale nuk ka publikuar ende krahasime të performancës kundrejt proceseve manuale të akordimit. Kompania thotë se do të vazhdojë të përditësojë mjetin bazuar në reagimet e përdoruesve.
