FastFlowLM mang lại điều gì
Công nghệ của FastFlowLM được xây dựng xoay quanh việc đặt NPU làm trung tâm của các khối lượng công việc AI. Cách tiếp cận này khác biệt so với các thiết kế truyền thống tập trung vào CPU hoặc GPU. Ngăn xếp phần mềm của công ty tối ưu hóa cách các mô hình ngôn ngữ lớn và các tác vụ suy luận khác chạy trên phần cứng NPU, giảm độ trễ và mức tiêu thụ điện năng. Đối với AMD, thương vụ này lấp đầy khoảng trống trong chuỗi công cụ phần mềm AI dành cho PC khách hàng. Công ty đã và đang thúc đẩy dòng Ryzen AI như một nền tảng để chạy AI tạo sinh cục bộ, nhưng các nhà phát triển thường phải điều chỉnh các mô hình vốn được xây dựng cho các kiến trúc khác.
Tại sao suy luận lại quan trọng ngay bây giờ
Suy luận — quá trình chạy một mô hình đã được huấn luyện để đưa ra dự đoán — là nơi diễn ra hầu hết các chu kỳ tính toán AI trong sản xuất. Chạy suy luận trên NPU cục bộ thay vì gửi dữ liệu lên đám mây giúp giảm chi phí và cải thiện quyền riêng tư. Chip AMD Ryzen AI bao gồm một khối NPU, nhưng để khai thác tối đa nó cần phần mềm hiểu được các đặc thù của phần cứng. Thiết kế lấy NPU làm trung tâm của FastFlowLM tuyên bố mang lại sự hiểu biết đó. Thương vụ này cho thấy AMD có ý định làm cho nền tảng Ryzen AI trở nên hấp dẫn hơn đối với các nhà phát tri
