Proč je energetická účinnost nyní úzkým hrdlem
Agentní AI se liší od jednoduchého chatbota. Tyto systémy plánují, volají nástroje a provádějí vícekrokové úkoly, takže vyžadují mnohem více výpočetního výkonu na požadavek. Každý krok znamená více zpracovaných tokenů a více spálené energie. Propustnost na watt měří, kolik práce čip vykoná na každou jednotku elektřiny, takže 30násobný skok znamená, že stejný úkol by mohl být proveden s zlomkem výkonu.
To je důležité, protože náklady na energii v datových centrech se staly překážkou pro roz
