Anyscale vừa ra mắt một công cụ mới được thiết kế để tối ưu hóa giai đoạn sau đào tạo cho các mô hình ngôn ngữ lớn, tự động hóa các nhiệm vụ như lựa chọn phương pháp, lập kế hoạch GPU và tạo cấu hình. Công ty cho biết công cụ này nhằm giải quyết phần công việc đã trở nên phức tạp và tốn nhiều nguồn lực khi triển khai mô hình ngôn ngữ lớn (LLM) vào sản xuất.
Công cụ tự động hóa những gì
Công cụ này tập trung vào quy trình tinh chỉnh, vốn thường yêu cầu kỹ sư phải chọn thủ công giữa các phương pháp như tinh chỉnh đầy đủ, LoRA hoặc QLoRA, sau đó xác định cấu hình GPU và siêu tham số phù hợp. Hệ thống của Anyscale sẽ thay thế các quyết định này, tạo ra một cấu hình phù hợp với mô hình và giới hạn phần cứng của người dùng. Công ty khẳng định điều này có thể giảm thời gian thử nghiệm và điều chỉnh, đồng thời giảm thiểu rủi ro từ việc cấu hình sai.
Tại sao giai đoạn sau đào tạo trở nên quan trọng
Khi các tổ chức chuyển từ việc thử nghiệm mô hình ngôn ngữ lớn (LLM) sang triển khai thực tế, quy trình tinh chỉnh đã trở thành điểm nghẽn. Các mô hình có sẵn thường cần điều chỉnh để phù hợp với lĩnh vực hoặc tác vụ cụ thể, nhưng quy trình này đòi hỏi kiến thức chuyên sâu và thường dẫn đến tổn thất chu kỳ GPU. Công cụ của Anyscale giải quyết vấn đề này bằng cách xem giai đoạn sau đào tạo như một quy trình tự động hóa thay vì một loạt các bước thủ công.
Lập kế hoạch GPU được tích hợp sẵn
Một phần quan trọng của công cụ là khả năng lập kế hoạch sử dụng GPU. Công cụ ước tính bộ nhớ và năng lực tính toán cần thiết cho mô hình và phương pháp tinh chỉnh cụ thể, sau đó đề xuất số lượng và loại GPU phù hợp. Điều này có thể giúp các nhóm tránh việc cung cấp dư thừa hoặc hết bộ nhớ giữa chừng. Anyscale xem đây là giải pháp thực tế dành cho các nhóm cần tinh chỉnh mô hình mà không cần dành toàn bộ một đội ngũ kỹ sư học máy cho công việc này.
Tình trạng phát hành
Công cụ này hiện có sẵn trong nền tảng của Anyscale. Người dùng có thể thử nghiệm trên cơ sở hạ tầng của công ty. Hiện chưa rõ cách công cụ xử lý với các mô hình rất lớn hoặc cấu hình phần cứng đặc biệt, và Anyscale chưa công bố các so sánh kết quả đo lường với quy trình tinh chỉnh thủ công. Công ty cho biết sẽ tiếp tục cập nhật công cụ dựa trên phản hồi từ người dùng.
