Az Anyscale kiadott egy új eszközt, amely a nagy nyelvi modellek képzés utáni szakaszának egyszerűsítésére szolgál, automatizálva olyan feladatokat, mint a módszertan kiválasztása, a GPU-tervezés és a konfigurációgenerálás. A cég szerint ez segít leegyszerűsíteni azt, ami az LLM-ek éles környezetben történő telepítésének bonyolult és erőforrás-igényes részévé vált.
Mit automatizál az eszköz
Az eszköz a finomhangolási folyamatra összpontosít, amely általában megköveteli a mérnököktől, hogy manuálisan válasszanak olyan megközelítések között, mint a teljes finomhangolás, a LoRA vagy a QLoRA, majd meghatározzák a megfelelő GPU-beállításokat és hiperparamétereket. Az Anyscale rendszere átveszi ezeket a döntéseket, és a modellhez és a felhasználó hardverkorlátaihoz igazodó konfigurációt generál. A cég állítása szerint ez csökkentheti a próbálkozásokra fordított időt és a hibás beállítások kockázatát.
Miért fontos most a képzés utáni szakasz
Ahogy a szervezetek áttérnek az LLM-ekkel való kísérletezésről a tényleges telepítésre, a finomhangolás szűk keresztmetszetté vált. A kész modellek gyakran igényelnek módosításokat bizonyos területekhez vagy feladatokhoz, de a folyamat speciális ismereteket igényel, és gyakran pazarló GPU-ciklusokhoz vezet. Az Anyscale eszköze ezt úgy kezeli, hogy a képzés utáni szakaszt automatikus folyamatként, nem pedig manuális lépések sorozataként kezeli.
Beépített GPU-tervezés
Az eszköz kulcsfontosságú része a GPU-használat tervezésének képessége. Megbecsüli egy adott modell és finomhangolási módszer memória- és számítási igényeit, majd javasolja a megfelelő számú és típusú GPU-t. Ez segíthet a csapatoknak elkerülni a túlzott erőforrás-ellátást vagy a memória kifogyását a feladat közepén. Az Anyscale ezt praktikus megoldásként pozicionálja olyan csapatok számára, amelyeknek finomhangolniuk kell a modelleket anélkül, hogy egy teljes ML-mérnöki csapatot szentelnének a feladatnak.
Megjelenés és elérhetőség
Az eszköz mostantól elérhető az Anyscale platform részeként. A felhasználók tesztelhetik a cég infrastruktúráján. Nem világos, hogy az eszköz hogyan kezeli a nagyon nagy modelleket vagy a szokatlan hardverbeállításokat, és az Anyscale még nem tett közzé benchmark-összehasonlításokat a manuális finomhangolási munkafolyamatokkal szemben. A cég szerint a felhasználói visszajelzések alapján továbbra is frissíteni fogja az eszközt.
