A Jane Street AI laboratóriuma nem kezdődött nagy léptékben. A kereskedelmi vállalat kutatócsapata korábban hat Dell szerveren futtatta munkaterheléseit. Ma ezt a beállítást egy folyadék hűtéses GPU adatközpont váltotta fel — ez a változás mutatja, hogy a vállalat mennyire fejlesztette infrastruktúráját a számítási igények kielégítéséhez.
Hat szerverről egy dedikált létesítményre
A laboratórium eredetileg néhány szabványos Dell gépre támaszkodott. Ezek a szerverek kezdeti gépi tanulási kísérleteket kezeltek, de a csapat hamarosan korlátokba ütközött. Ahogy a modellek összetettebbé váltak és az adatkészletek kibővültek, a régi hardver nem tudta tartani a tempót.
Nem csak további állványok hozzáadásával, hanem a teljes megközelítés újratervezésével járt el a Jane Street. Az új adatközpont folyadék hűtést alkalmaz a nagy teljesítményű GPU-k által termelt hő kezelésére. A levegő hűtés önmagában nem lenne elegendő a térben sűrűn elhelyezett chipek hőjének kezeléséhez.
Miért fontos a folyadék hűtés
A GPU-k nagy hőt termelnek. Amikor AI tanításra csoportosítják őket, a hőmérséklet drasztikusan emelkedik. A szabványos ventilátorok és levegőkezelők nehezen tudják stabilan tartani a komponenseket, különösen kompakt elrendezés esetén. A Jane Street áttérése a folyadék hűtésre lehetővé teszi a laboratóriumnak, hogy erősebben terhelje a hardvert hőmérsékleti korlátozás vagy gyakori meghibásodások nélkül.
A folyadék hűtés csökkenti az energiafogyasztást is. A hő eltávolítása folyadékkal hatékonyabb, mint hideg levegő átfúvása a helyiségben. Egy olyan vállalat számára, amely kereskedési algoritmusokat futtat folyamatosan, a csökkentett áramszámlák és kevesebb hardvercserének jelentősége kiemelkedő.
Az erőforrás-elosztás stratégiai lépésként
A hat Dell szerverről egy speciálisan kialakított folyadék hűtéses központba történő átmenet nem csak a sebességről szól. Hanem arról, hogyan gondolkodik a vállalat az erőforrás-elosztásról. Minden watt és négyzetméter most tudatosabban kerül felhasználásra.
A Jane Street nem tett közzé információt az új adatközpont költségeiről vagy pontos kapacitásáról. Azonban ez a lépés jelezte, hogy a vállalat az AI infrastruktúrát versenyelőnynak tekinti — nem csupán IT-költségként. A számítási erőforrások, hűtés és tér hatékony elosztása több kutatásra és gyorsabb iterációra szabadít fel költségvetést.
A laboratórium átmenete néhány általános gépről egy legkorszerűbb létesítménybe hangsúlyozza az infrastruktúra növekvő szerepét az AI-kutatásban. Ez emlékeztet arra, hogy még a legokosabb modellek sem futnak jól megfelelő hardver nélkül.
