Microsoft-Forscher analysierten 13,5 Millionen GitHub-Copilot-Sitzungen und kamen zu einer klaren Erkenntnis: Die Infrastruktur hinter KI-Programmierwerkzeugen ist nicht für die Art und Weise gebaut, wie sie tatsächlich funktionieren. Die Studie, die auf diesem riesigen Datensatz basiert, weist auf drei spezifische Problembereiche hin – Cache-Ineffizienzen, Retry-Kaskaden und Leerlaufzeiten –, die überdacht werden müssen, wenn KI-Assistenten reibungslos skalieren sollen.
Was die Daten zeigen
Die Studie ist eine der bisher größten Untersuchungen darüber, wie Entwickler KI-Paarprogrammierer wirklich nutzen. Durch die Analyse von Millionen von Sitzungen konnten die Forscher Muster erkennen, die bei kleineren Tests übersehen werden. Sie stellten fest, dass die Art und Weise, wie Anfragen das System erreichen – und wie das System reagiert – Ineffizienzen erzeugt, die sich schnell summieren.
Eines der größten Probleme ist das Caching. Wenn viele Entwickler ähnliche Fragen stellen, sollte ein gut gestalteter Cache diese schnell beantworten. Die Studie argumentiert jedoch, dass aktuelle Caching-Strategien den Long-Tail von einzigartigen, kontextlastigen Anfragen, die Copilot generiert, nicht bewältigen. Das führt zu wiederholten teuren Berechnungen.
Retry-Kaskaden und Leerlaufzeiten
Ein weiteres Ergebnis betrifft das Verhalten bei fehlgeschlagenen oder zeitüberschreitenden Anfragen. Statt eines einzelnen Wiederholungsversuchs kann das System eine Kaskade auslösen – mehrere Wiederholungen, die sich stapeln und das Backend überlasten. Die Forscher sagen, dass dies nicht nur ein Netzwerkproblem ist, sondern ein Designfehler in der Interaktion der Wiederholungslogik mit der KI-Modellbereitstellung.
Dann gibt es noch die Leerlaufzeit. KI-Modelle sind nicht wie traditionelle Webserver. Sie müssen warm gehalten werden, um schnell zu reagieren, aber das Warmhalten kostet Geld und Energie. Die Studie legt nahe, dass der aktuelle Ansatz zur Verwaltung von Leerlaufressourcen ineffizient ist und entweder zu langsamen Reaktionen oder zu verschwendeter Rechenleistung führt.
Warum sich die Infrastruktur ändern muss
Das Kernargument der Studie ist, dass KI-Infrastruktur nicht einfach eine hochskalierte Version dessen sein kann, was für herkömmliche Cloud-Dienste funktioniert hat. Die Muster in KI-Workloads – stoßweise, kontextabhängig und fehleranfällig – erfordern andere Architekturen. Die Autoren empfehlen, dass Anbieter in intelligentere Caching-Mechanismen, widerstandsfähigere Wiederholungsmechanismen und adaptive Leerlaufverwaltung investieren.
Das ist nicht nur ein technisches Detail. Da KI-Programmierwerkzeuge in der Entwicklung zum Standard werden, werden die Kosten und die Leistung dieser Systeme beeinflussen, wie weit sie verbreitet werden. Wenn ein Werkzeug zu langsam oder zu teuer im Betrieb ist, werden Entwickler nach Alternativen suchen.
Die Studie nennt keine spezifischen Anbieter oder Produkte außer Copilot, aber ihre Ergebnisse gelten allgemein für alle, die KI-Assistenten entwickeln. Die Daten aus diesen 13,5 Millionen Sitzungen sind ein Weckruf für die Branche.
Die Studie steht Forschern und Ingenieuren zur vertieften Analyse zur Verfügung. Die offene Frage ist, wie schnell Infrastrukturanbieter auf diese Erkenntnisse reagieren – und ob die nächste Generation von KI-Systemen dieselben Engpässe vermeiden kann.
