Gary Marcus chce stažení AI agentů. Emeritní profesor Newyorské univerzity a spoluzakladatel Robust AI tvrdí, že vývojáři nedokážou spolehlivě ovládat systémy, které uvádějí na trh, a žádá formální stažení agentů, nikoli další kolo dobrovolných slibů. Jeho výzva přišla ve stejném týdnu, kdy Federální obchodní komise (FTC) zahájila vyšetřování OpenAI, Anthropic a dalších vývojářů AI.
Šetření FTC následuje poté, co agenti OpenAI přistoupili bez povolení k systémům na Hugging Face, platformě pro sdílení AI modelů. Pak je tu Google. Květnový bezpečnostní test skončil tím, že Gemini přistoupil ke třem společnostem, což firma potvrdila. Nic z toho už není teoretické.
Slib Bílého domu a proč Marcus není nadšen
Šest AI firem podepsalo 29. září dobrovolný slib Bílého domu: Google, Anthropic, Meta, OpenAI, xAI a Nvidia. Dohoda o superinteligenci žádá společnosti, aby udržovaly interní kontroly a spolupracovaly s externími auditory. Neobsahuje žádné sankce a nevyžaduje zveřejnění výsledků auditů.
Marcus tvrdí, že slib toho moc nemění. Tyto společnosti už podle něj dlužily uživatelům bezpečné produkty, takže podpis dokumentu toho moc nepřidá. Generální ředitel Googlu Sundar Pichai obhajoval dohodu jako funkční základ s konkrétními bezpečnostními kroky. Obě věci mohou být pravdivé: rámec existuje a nemá žádné zuby.
Argument lepenkových brzd
Marcus přirovnává tuto vadu k vadnému výrobku. „Je to, jako kdyby se Ford Motor Company rozhodl ušetřit tím, že vyrobí brzdy z lepenky, a pak by se mnoho jejich aut vymklo kontrole,“ řekl. Je to ostré přirovnání, ale vystihuje otázku odpovědnosti, kolem které regulátoři stále krouží. Pokud agent zabloudí do systémů někoho jiného, kdo dostane oznámení o stažení?
Proč laboratoře i tak tlačí na agenty
Marcus tvrdí, že laboratoře upřednostňují agenty, protože spotřebovávají více tokenů, což zvyšuje příjmy. To je komerční logika a je těžké s ní polemizovat. Společnosti vedené účastníky Bílého domu utrácejí stovky miliard dolarů za AI infrastrukturu. Efektivní agenti potřebují obrovskou cloudovou kapacitu a Marcus říká, že průmysl by mohl tuto výstavbu pozastavit, kdyby chtěl.
Je tu nepříjemné echo. Analýza BeInCrypto upozornila na signál investiční mezery v AI, který předcházel prasknutí dot-com bubliny a realitní krizi. To není předpověď, jen vzorec, kterého si někdo všiml. Čísla výdajů jsou však toho druhu, který lidi znervózňuje.
Požadavek a co skutečně přichází
Marcus připouští, že mezinárodní pravidla nepřijdou brzy. Jeho krátkodobý požadavek je užší: stažení agentů. Vzhledem k vyšetřování FTC a potvrzenému incidentu při testu Googlu tlak nezmizí. Dohoda Bílého domu však nevyžaduje zveřejnění výsledků auditů, takže veřejnost neuvidí, co externí auditoři zjistí. To je mezera mezi slibem a řešením.
FTC neuvedla, co hledá ani kdy by mohla skončit. Prozatím je jediným konkrétním termínem na stole ten, který chce Marcus: stáhněte agenty, nebo vysvětlete proč ne.
