A Google mérnökei számítási teljesítménykorlátokba ütköznek, mivel a mesterséges intelligencia által írt új kód aránya 75%-ra ugrott, szemben a hat hónappal ezelőtti 50%-kal. Ez a gyors növekedés megterheli a vállalat infrastruktúráját, és arra kényszeríti a csapatokat, hogy újragondolják az erőforrások elosztását.
Az AI-asszisztált kódolás térnyerése
Hat hónappal ezelőtt a Google új kódjának fele származott AI-ból. Most már háromnegyede. Ez azt jelenti, hogy a vállalat belső rendszerei sokkal nagyobb mennyiségű AI által generált javaslatot, kiegészítést és automatikus javítást kezelnek. A változás a tech-iparág szélesebb körű törekvését tükrözi, hogy az AI-eszközöket beépítsék a mindennapi fejlesztési munkafolyamatokba. A Google-nél a nagy nyelvi modellek belső verziói, mint például a kódsablonok írására, hibajavításra és akár teljes függvények generálására szolgáló eszközök, már alapfelszerelésnek számítanak.
A növekedés azonban nem volt költségmentes. Minden egyes AI-lekérdezés számítási ciklusokat emészt fel, és mivel egyre több kódot generálnak a modellek, a feldolgozási teljesítmény iránti kereslet megnőtt. A mérnökök lassabb válaszidőkről számoltak be a belső AI-eszközöknél, és csúcsidőben időnként kimaradások is előfordulnak.
Nyomás a belső infrastruktúrán
A számítási korlátok leginkább az AI-modelleket futtató adatközpontokban érzékelhetők. A Google saját hardverei, beleértve a TPU-kat és GPU-kat is, most nagy terhelés alatt állnak a kódgenerálási feladatok miatt. Egyes csapatok kénytelenek voltak sorba állítani a feladatokat, vagy korlátozni az AI-kérések számát mérnökenként. A vállalat emellett elkezdett prioritásokat felállítani bizonyos típusú kódgenerálások – például biztonsági javítások vagy kritikus hibajavítások – számára, a kevésbé sürgős segédfüggvényekkel szemben.
A Google nincs egyedül ezzel a kihívással. Más nagy tech-cégek is hasonló növekedési nehézségekről számoltak be, amikor az AI-t integrálják a fejlesztésbe. De a változás sebessége a Google-nél – 25 százalékpontos növekedés hat hónap alatt – néhány belső csapatot váratlanul ért.
Mit jelent ez a mérnökök számára
A kódot író mérnökök számára az új valóság a munkafolyamatok átalakítását jelenti. Többé nem támaszkodhatnak az AI-eszközökre, hogy azonnal kódot generáljanak anélkül, hogy figyelembe vennék a számítási korlátokat. Néhányan már elkezdték csoportosítani a kéréseiket a csúcsidőn kívüli órákra. Mások alaposabban átnézik az AI által generált kódot, tudván, hogy a modellek néha hatástalan vagy hibás kimenetet produkálnak, ha korlátozott körülmények között futnak.
A Google nem hozta nyilvánosságra, hogy pontosan hogyan tervezi kezelni az infrastrukturális terhelést. A vállalat valószínűleg választás előtt áll: több hardverbe fektet, finomítja a modelleket a hatékonyság növelése érdekében, vagy szigorúbb korlátokat szab az AI-használatra. Minden opciónak vannak kompromisszumai. A több hardver pénzbe kerül és időbe telik telepíteni. A modellhatékonyság javítása lassíthatja a fejlesztések ütemét. A használati korlátok frusztrálhatják azokat a mérnököket, akik már megszokták ezeket az eszközöket.
Egyelőre a helyzet megoldatlan. A mérnökök a korlátok körül dolgoznak, de az AI által generált kód iránti mögöttes kereslet nem mutatja a lassulás jeleit. A kérdés az, hogy a Google infrastruktúrája meddig bírja a tempót.
