KI-Agenten können 1.000-mal mehr Tokens verbrauchen als eine einzelne Chatbot-Anfrage, was ein Überdenken von Chipverhältnissen, Serverarchitektur und Strombudgets erzwingt.
NurPhoto / Getty Images
Eine einzelne Anfrage an den Chatbot trifft auf einen GPU, erzeugt eine Antwort und die Berechnung endet. Ein KI-Agent, der die gleiche Aufgabe ausführt, könnte stundenlang laufen, Unteragenten erzeugen, APIs aufrufen, Datenbanken abfragen und dutzende Male durch das Modell zurückschleifen, bevor ein Ergebnis erzielt wird.
Eine im April von Forschern des Digital Economy Lab in Stanford veröffentlichte Studie ergab, dass agentische Codieraufgaben 1.000-mal mehr Token verbrauchen als standardmäßige Codereasoning- und Chat-Aufgaben, ein Befund, der harte Zahlen zu einem Kostenproblem liefert, mit dem sich die KI-Industrie erst zu befassen beginnt.
Die Mechanik ist strukturell, nicht zufällig. Anders als statische Reasoning-Modelle planen KI-Agenten kontinuierlich, rufen externe Werkzeuge auf, beobachten Ergebnisse und verfeinern ihr Denken, oft mit dutzenden von Inferenzaufrufen, um eine einzelne Benutzeranfrage zu erfüllen. Jeder Aufruf liest die gesamte bisher angesammelte Gesprächshistorie erneut, sodass ein Agent die Aufgabe liest, eine Antwort erhält, dann alles vor der nächsten Aktion erneut lesen muss, und alles plus die neue Antwort vor der nächsten Aktion erneut liest. Das Ergebnis ist, dass der Kontext mit jedem Schritt wächst.
In agentischen Workflows werden Key-Value-Caches nie zurückgesetzt, sondern akkumulieren sich über mehrstufige Reasoning-Ketten hinweg, was bedeutet, dass ein 10-GB-Cache für eine einzelne Inferenz zu einer sich bewegenden Bandbreitenbasis wird, die sich mit jeder Agenteninteraktion vervielfacht, laut Analysen des Netzwerkunternehmens Ciena. Dies ist kein marginaler Anstieg. Forscher am Korea Advanced Institute of Science and Technology fanden heraus, dass KI-Agenten "erhebliche Energie-Overheads einführen, die um Größenordnungen höher sind als konventionelle Einzelturn-LLM-Inferenz", laut einem auf arXiv veröffentlichten Papier , das das beschrieb, was die Autoren als die erste systemweite Charakterisierung der Kosten von Agenteninfrastrukturen bezeichneten. Ohne systemweite Innovationen, warnten die Autoren, könnten die pro Anforderung anfallenden Berechnungskosten um Größenordnungen steigen, was eine groß angelegte Bereitstellung "wirtschaftlich und ökologisch untragbar" machen könnte.
In den letzten Jahren wurden KI-Rechenzentren um eine einfache Architektur herum entworfen: Eine CPU fungiert als Host-Knoten für vier bis acht GPUs. Die GPU erledigte die Berechnungen. Die CPU verwaltete den Datenverkehr. Agentische KI bricht dieses Modell.
Agentische KI-Workloads gestalten die Rechenanforderungen von Rechenzentren neu, indem sie Leistungsengpässe von GPU-zentrierter Inferenz zu CPU-intensiver Orchestrierung verlagern, was laut einer von SemiWiki. veröffentlichten Analyse einen erheblichen CPU-Bedarf einführt und die CPU-Kapazität zu einem kritischen Faktor bei der Systemdurchsatz macht. AMD $AMD berichtet nun, dass sich das vorherige Eins-zu-vier- oder Eins-zu-acht-Verhältnis von CPU zu GPU bei Chatbot-KI zugunsten eines Eins-zu-eins-Verhältnisses verschiebt, in einigen Fällen sogar zu höheren Verhältnissen auf der CPU-Seite. Das Unternehmen verdoppelte seine Prognose für den Server-CPU-Markt in weniger als sechs Monaten.
Wo AMD zuvor ein jährliches Wachstum des Server-CPU-Marktes von 18 % prognostiziert hatte, führte der strukturelle Anstieg der Rechenleistung durch agentische Systeme das Unternehmen dazu, diese Erwartung auf ein jährliches Wachstum von über 35 % zu revidieren, wobei der insgesamt adressierbare Markt laut einem Blogbeitrag von Dan McNamara, Senior Vice President für Computing und Enterprise AI bei AMD, bis 2030 über 120 Milliarden US-Dollar erreichen soll. Morgan Stanley $MS kam in einem April-Bericht zu einem ähnlichen Schluss., in dem prognostiziert wird, dass agentische KI bis 2030 32,5 bis 60 Milliarden Dollar an neuer Nachfrage nach Datenzenter-CPUs generieren könnte, mit dem Argument, dass "während sich KI von der Generierung zur autonomen Handlung entwickelt, sich der Engpass bei der Berechnung in Richtung CPU und Speicher verschiebt." Auf der AMD Advancing AI-Veranstaltung im Juni 2025 beschrieb CEO Lisa Su agentische KI als "eine neue Klasse von Nutzern" und fügte hinzu, dass "wir tatsächlich sehen, dass wir das Äquivalent von Milliarden neuer virtueller Nutzer zur globalen Recheninfrastruktur hinzufügen."
Goldman Sachs $GS hat in einem Bericht konkrete Prognosen für die Nachfrageentwicklung gemacht, der in diesem Monat veröffentlicht wurde. Die Bank erwartet, dass der Token-Verbrauch bis 2030 im Vergleich zu den Niveaus von 2026 um das 24-fache steigen wird, da die KI-Anfragen von fünf Milliarden auf 23 Milliarden pro Tag steigen, angetrieben von nicht-menschlichen Agenten. Goldman Sachs prognostiziert, dass agentische KI bis 2030 etwa 30 % dieser Anfragen ausmachen wird.
Die Infrastrukturinvestitionen zur Unterstützung dessen sind bereits im Gange. Die fünf größten US-amerikanischen Cloud- und KI-Infrastruktur-Anbieter haben sich gemeinsam verpflichtet, 2026 zwischen 660 Milliarden und 690 Milliarden Dollar für Investitionen in Sachanlagen auszugeben, was fast einer Verdoppelung der Ausgaben von 2025 entspricht, laut Futurum Group. Aber allein die Ausgaben garantieren nicht, dass die Infrastruktur der Arbeitslast entspricht. Gartner prognostiziert, dass über 40 % der agentischen KI-Projekte bis Ende 2027 aufgrund steigender Kosten, unklarer Geschäftswerte oder unzureichender Risikokontrollen abgebrochen werden.
Die Kostenüberraschungen sind real: Die Stanford-Studie fand heraus, dass der Tokenverbrauch bei agentischen Aufgaben „äußerst variabel und inhärent stochastisch“ ist, wobei sich Durchläufe bei derselben Aufgabe um bis zu 30-mal in der Gesamtanzahl der verbrauchten Token unterscheiden.
Der Rechenverlauf hat direkte Auswirkungen auf die Energiefrage, die über der KI-Industrie schwebt. Da das Quantencomputing in die Datenzentrumsinfrastruktur einzieht neben klassischen Prozessoren, hält das aufkommende Hybridmodell aus CPUs, GPUs und Quantenverarbeitungseinheiten, die zusammenarbeiten, Versprechen für spezielle wissenschaftliche und finanzielle Arbeitslasten. Aber Quantenmaschinen verbrauchen etwa 30 Kilowatt, während ein einziges Rack von Nvidias KI-Trainingschips 120 bis 140 Kilowatt verbraucht, wobei erwartet wird, dass Systeme der nächsten Generation 200 Kilowatt überschreiten. Quanten sind für eine andere Problemkategorie ausgelegt. Es wird nicht die Belastung absorbieren, die agentische KI erzeugt.
Die ehrliche Rechnung ist, dass agentische KI das Stromproblem im Datenzentrum verschlimmert, nicht verbessert. Jeder Agent, der stundenlang statt sekundenlang läuft, jeder Unteragent, den er erzeugt, jede Schleife, die er ausführt, ist ein Rechenaufwand, den klassische Hardware bedienen muss. Goldman Sachs Research prognostiziert, dass der Stromverbrauch in Datenzentren bis 2030 um 175 % im Vergleich zu 2023 steigen wird und der Aufstieg der Agenten ein wesentlicher Treiber ist.
Für Unternehmenskäufer und Rechenzentrumsplaner ist die praktische Erkenntnis, dass eine für Chatbot-ähnliche KI ausgelegte Infrastruktur agentische Bereitstellungen nicht unterstützen wird. Die Arbeitslasten unterscheiden sich in ihrer Art, nicht im Grad. Die Planung für Agenten bedeutet die Planung für mehr CPUs, mehr Speicher, mehr Leistung und Architekturen, die die meisten Organisationen noch nicht gebaut haben.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
