Společnost Moonshot AI vydala model Kimi K3, model umělé inteligence s otevřenými váhami o 2,7 bilionu parametrů. Firma uvádí, že se jedná o největší veřejně dostupný model s otevřenými váhami.
Co znamenají otevřené váhy
Modely s otevřenými váhami zveřejňují natrénované parametry, které si může kdokoli stáhnout a používat. To se liší od uzavřených modelů, které váhy tají a nabízejí přístup pouze přes API. Výzkumníci a vývojáři mohou Kimi K3 spouštět na vlastních serverech, dále jej upravovat pro specifické úkoly nebo zkoumat jeho vnitřní fungování.
Velikost modelu
2,7 bilionu parametrů je obrovská velikost. Žádný jiný model s otevřenými váhami této úrovně nedosáhl. Počet parametrů je klíčovou metrikou kapacity modelu AI. Větší modely zvládají složitější úkoly, ale také vyžadují značné výpočetní zdroje. Tento model pravděpodobně využijí organizace s přístupem k velkým clusterům GPU.
Společnost Moonshot AI nezveřejnila výsledky benchmarků ani podrobnosti o trénovacích datech pro Kimi K3. Oznámení se soustředilo na velikost modelu a jeho otevřené váhy. Model je k dispozici ke stažení na webových stránkách společnosti. Výzkumníci k němu nyní mají přístup a mohou začít experimentovat s jeho schopnostmi.
