A Moonshot AI bemutatta a Kimi K3 modellt, amely 2,8 billió paraméterrel rendelkezik, és nyílt súlyozású. A modell 14,82-szor gyorsabban generál CUDA kerneleket az Nvidia H100 GPU-khoz, mint a szabványos PyTorch. Ez a teljesítményugrás közvetlen kihívást jelent a vezető amerikai MI-laboratóriumok számára, és tovább élezi a már amúgy is intenzív amerikai–kínai mesterségesintelligencia-versenyt.
Mit jelent a gyorsulás?
A PyTorchhoz képest elért 14,82-szeres gyorsulás nem szintetikus benchmark – valódi kernelgenerálási sebesség. Ez azt jelenti, hogy a Kimi K3 sokkal gyorsabban képes alacsony szintű GPU-kódot írni és optimalizálni, mint a széles körben használt PyTorch keretrendszer. A nagy skálájú betanítást vagy következtetést futtató fejlesztők számára az H100 klasztereken ez jelentősen csökkenti a várakozási időt és a számítási költségeket. A Moonshot AI nyílt súlyozású modelljét a kutatók világszerte megvizsgálhatják és továbbfejleszthetik.
A Kimi K3 megjelenése akkor történik, amikor Washington szigorítja a fejlett chipek Kínába irányuló exportkorlátozásait. Az olyan amerikai laboratóriumok, mint az OpenAI, a Google DeepMind és a Meta, eddig dominálták a nagy nyelvi modellek és a GPU-optimalizálás területét. A Moonshot AI modellje azonban azt mutatja, hogy a kínai cégek a legújabb Nvidia hardverekhez való korlátozott hozzáférés ellenére is képesek jelentős teljesítményjavulást elérni – az H100 GPU-kat a korábbi készletekből szerzik be. A 2,8 billió paraméterrel a Kimi K3 az egyik legnagyobb nyílt súlyozású modell, amely méretben felveszi a versenyt az amerikai vezető cégek zárt modelljeivel.
A nyílt súlyozás tényezője
Azzal, hogy a Moonshot AI nyílt súlyozásúvá tette a Kimi K3-at, lehetőséget ad a globális fejlesztői közösségnek, hogy építsen a munkájára. Ez felgyorsíthatja az elfogadást Kínában és máshol, míg az amerikai cégek általában zártan kezelik legfejlettebb modelljeiket. A lépés nyomást gyakorol az amerikai laboratóriumokra, hogy ők is nyissák meg modelljeiket, különben lemaradhatnak a harmadik féltől származó optimalizálások ökoszisztémájában. Az Nvidia CUDA platform továbbra is domináns a GPU-programozásban, de egy olyan modell, amely gyorsabban ír CUDA kerneleket, mint a PyTorch, megváltoztathatja a fejlesztők hozzáállását a teljesítményoptimalizáláshoz.
A Moonshot AI nem hozta nyilvánosságra a Kimi K3 betanításának költségeit vagy a felhasznált pontos hardvert. Azt sem közölte, hogy tervezik-e a modell frissítését, vagy hogy kiadnak-e egy változatot az Nvidia következő Blackwell architektúrájához optimalizálva. Jelenleg a modell letölthető, és az első független benchmarkok várhatóan heteken belül megjelennek.
