Що приносить FastFlowLM
Технологія FastFlowLM побудована навколо розміщення NPU в центрі ШІ-навантажень. Такий підхід відрізняється від традиційних архітектур, орієнтованих на CPU або GPU. Програмний стек компанії оптимізує виконання великих мовних моделей та інших завдань інференції на апаратному забезпеченні NPU, зменшуючи затримку та енергоспоживання. Для AMD це придбання заповнює прогалину в її інструментарії ШІ-програмного забезпечення для клієнтських ПК. Компанія активно просуває лінійку Ryzen AI як платформу для локального запуску генеративного ШІ, але розробникам часто доводилося адаптувати моделі, спочатку створені для інших архітектур.
Чому інференція важлива зараз
Інференція — процес запуску навченої моделі для отримання прогнозів — є місцем, де відбувається більшість обчислювальних циклів ШІ у виробництві. Виконання інференції на локальному NPU замість відправлення даних у хмару знижує витрати та покращує конфіденційність. Чіпи AMD Ryzen AI містять блок NPU, але для отримання максимальної віддачі потрібне програмне забезпечення, яке розуміє особливості апаратного забезпечення. Дизайн FastFlowLM, орієнтований на NPU, стверджує, що забезпечує таке розуміння. Придбання свідчить про те, що AMD має намір зробити платформу Ryzen AI більш привабливою для розробників, які створюють функції ШІ на пристрої, від перекладу в реальному часі до локальних чат-ботів.
