Problemi i shkallëzimit
Trajnimi i një modeli me trilion parametra kërkon gjerësi të madhe të brezit të memories dhe shpejtësi të ndërlidhjes. Sistemet e sotme shpesh hasin pengesa që i kthejnë seancat e trajnimit në projekte shumëmujore. Platforma Vera Rubin dhe Groq 3 LPX janë dizajnuar secila për të zgjidhur pjesë të ndryshme të këtij ekuacioni. Qasja e NVIDIA-s fokusohet në grupe të dendura llogaritëse, ndërsa linja LPX e Groq synon ekzekutim determinist me vonesë të ulët. Të kombinuara, të dyja pretendojnë të ulin përdorimin e energjisë dhe kohën e trajnimit me një faktor 35.
Çfarë do të thotë numri 35x
Shifra e efikasitetit nuk është një pikë referimi e vetme, por një projeksion i përmirësimeve në nivel sistemi – nga arkitektura e çipit te lëvizja e të dhënave. Për një model me trilion parametra, një fitim 35x mund ta kthejë një cikël trajnimi njëvjeçar në çështje javësh. Asnjëra kompani nuk ka publikuar ende rezultate të pavarura testimi, por të dyja tregojnë zgjedhje arkitekturore që reduktojnë ciklet e humbura dhe trafikun e memories. Platforma Vera Rubin përdor një rrjetë të re ndërlidhëse, ndërsa Groq 3 LPX mbështetet në një model ekzekutimi determinist që shmang mbingarkesën tradicionale të ruajtjes në cache.
Pse koha ka rëndësi
Shtytja vjen ndërsa modelet e mëdha gjuhësore dhe sistemet AI multimodale kapërcejnë rregullisht shenjën e qindra miliardë parametrave. Modelet me trilion parametra shihen gjerësisht si kufiri tjetër, por vendosja e tyre praktike është e ngecur për shkak të kostos. Prodhuesit e harduerit po garojnë për të ofruar zgjidhje që i bëjnë ato modele ekonomikisht të qëndrueshme. NVIDIA dhe Groq po ndjekin të njëjtin problem nga kënde të ndryshme, dhe pretendimi 35x është një pikë referimi për të dyja.
Asnjëra kompani nuk ka njoftuar data të disponueshmërisë së përgjithshme për platformën Vera Rubin ose Groq 3 LPX. Sistemet beta pritet të arrijnë te partnerët e zgjedhur më vonë këtë vit. Testi i vërtetë do të vijë kur laboratorët e pavarur dhe ofruesit e resë të vënë harduerin në prov
