Anyscale, büyük dil modelleri için eğitim sonrası aşamayı kolaylaştırmak amacıyla yeni bir araç yayınladı. Araç, metodoloji seçimi, GPU planlaması ve yapılandırma oluşturma gibi görevleri otomatikleştiriyor. Şirket, bu aracın LLM'leri üretim ortamında dağıtmanın karmaşık ve kaynak yoğun bir parçası haline gelen süreci basitleştirmeyi hedeflediğini belirtiyor.
Aracın otomatikleştirdikleri
Araç, genellikle mühendislerin tam ince ayar, LoRA veya QLoRA gibi yaklaşımlar arasında manuel olarak seçim yapmasını, ardından doğru GPU kurulumunu ve hiperparametreleri belirlemesini gerektiren ince ayar sürecine odaklanıyor. Anyscale'ın sistemi bu kararları üstlenerek modele ve kullanıcının donanım kısıtlamalarına uygun bir yapılandırma oluşturuyor. Şirket, bunun deneme yanılma süresini kısaltabileceğini ve yanlış yapılandırılmış çalıştırmaların riskini azaltabileceğini iddia ediyor.
Eğitim sonrası neden şimdi önemli?
Kuruluşlar LLM'lerle deney yapmaktan fiilen dağıtmaya geçtikçe, ince ayar bir darboğaz haline geldi. Hazır modeller genellikle belirli alanlar veya görevler için ayarlamalara ihtiyaç duyar, ancak süreç uzmanlık bilgisi gerektirir ve çoğu zaman boşa harcanan GPU döngülerine yol açar. Anyscale'ın aracı, eğitim sonrasını manuel adımlar dizisi yerine otomatik bir boru hattı olarak ele alarak bu sorunu çözüyor.
GPU planlaması dahil
Aracın önemli bir parçası, GPU kullanımını planlama yeteneğidir. Belirli bir model ve ince ayar yöntemi için gereken bellek ve hesaplama gücünü tahmin eder, ardından uygun sayıda ve türde GPU önerir. Bu, ekiplerin aşırı kaynak ayırmaktan veya iş ortasında bellek tükenmesinden kaçınmasına yardımcı olabilir. Anyscale, bunu, tam bir makine öğrenimi mühendisi ekibi ayırmadan modelleri ince ayar yapması gereken ekipler için pratik bir çözüm olarak konumlandırıyor.
Sürüm kullanılabilirliği
Araç şu anda Anyscale platformunun bir parçası olarak kullanılabilir. Kullanıcılar bunu şirketin altyapısında test edebilir. Aracın çok büyük modelleri veya egzotik donanım kurulumlarını nasıl ele alacağı henüz net değil ve Anyscale henüz manuel ince ayar iş akışlarına karşı kıyaslama karşılaştırmaları yayınlamadı. Şirket, aracı kullanıcı geri bildirimlerine göre güncellemeye devam edeceğini söylüyor.
