Das KI-Zeitalter bedeutet, dass sich das Internet in zwei Teile aufteilt: eines für Menschen, ein anderes für Bots.
Jason Alden/Bloomberg via Getty Images
Das älteste Schnäppchen des Internets bricht auseinander.
Jahrzehntelang haben Websites Crawler willkommen geheißen. Dass man von Google $GOOGL oder einer anderen Suchmaschine abgekratzt wurde, bedeutete, indexiert, gerankt und entdeckt zu werden. Auf jede zwei Bots, die es auf eine Website sendete, Google schickte einen Benutzer.. Beim Scraping ging es also um Web-Traffic – und Geschäft.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
Aber jetzt, da generative KI-Tools das gesamte Internet zu verschlingen versuchen, bedeutet Scraping, umgangen zu werden. Laut Cloudflare sendet ChatGPT-Entwickler OpenAI für jeden Benutzer, den er auf eine Website schickt, 1.500 Bots. Bei Anthropic liegt diese Zahl bei 60.000. Der Traffic von menschlichen Besuchern flacht ab während automatisierter Traffic stark zunimmt — manchmal übertrifft er sogar komplett die Anzahl der Menschen.
Anders als in der Google-Ära verlinken diese Bots normalerweise nicht zurück zu ihrem Quellenmaterial. Stattdessen fassen KI-Modelle zusammen und liefern Antworten in ihren eigenen Schnittstellen, halten Benutzer fest und schließen Websites und Inhaltsersteller aus.
Linda Tong, CEO von Webflow, ein Webdesign- und Hosting-Unternehmen, nannte es einen der tiefgreifendsten Wandel, den sie in ihren 20 Jahren im Internet-Geschäft gesehen hat. „Es verändert grundlegend, wie Menschen Marken finden und mit ihnen interagieren“, sagte sie. „Und für einige Unternehmen ist es eine existenzielle Bedrohung.“
Das geht an den Kern der Sache. Während sich ein Großteil der öffentlichen Diskussion auf die Befürchtungen konzentriert hat, dass KI menschliche Arbeiter ersetzen wird, zieht eine unmittelbarere Bedrohung nicht so viel Aufmerksamkeit auf sich – selbst während sie die zugrunde liegende Ökonomie des Internets selbst auf den Kopf stellt.
Bots durchsuchen das Web seit den frühen 1990ern – zuerst, um es zu kartieren, dann, um es zu indexieren, und schließlich, um den Aufstieg der Suche zu befeuern. Frühe Crawler wie World Wide Web Wanderer legte den Grundstein für eine Ära, in der Sichtbarkeit gleichbedeutend mit Lebensfähigkeit war. Als Googles eigener Crawler – Backrub, später Googlebot – 1996 online ging, hatte sich eine neue Logik durchgesetzt: Lassen Sie Suchmaschinen Ihre Inhalte scannen, und im Gegenzug senden sie Ihnen Traffic.
In den meisten der folgenden 30 Jahre definierte diese Logik das offene Web. Sichtbarkeit in den Google-Ergebnissen war alles. Von Nischenblogs bis zu den größten Medienkonglomeraten der Welt lebten oder starben Websites nach ihrem Suchranking. Ganze Branchen, ganz zu schweigen von Beratungspraxen, entstanden rund um Suchmaschinenoptimierung (SEO), Informationsarchitektur und Content-Strategie, alles, um Unternehmen zu helfen, das Spiel besser zu spielen.
Aber KI spielt nicht nach den alten Regeln.
Anstatt auf Quellenmaterial zurückzuverlinken, lesen LLMs wie OpenAIs ChatGPT, Anthropics Claude und sogar Googles eigenes Gemini und verwerten es – beantworten Benutzeranfragen direkt, meist ohne jegliche Zuordnung.
Dieser Wandel führt zu einem neuen Akronym, AEO (was AI-Engine-Optimierung bedeutet), sowie zu ganzen Strategien, um Inhalte für KI sichtbarer und effektiver zu machen, auch wenn AI-Antworten nie zu Klicks führen. Wenn SEO das Suchzeitalter geprägt hat, wird AEO wahrscheinlich das Zeitalter der generativen KI definieren.
KI-Bots, sagte Tong, "synthesizieren, was sie zugreifen und durchsuchen können, und präsentieren es in einem Format, das den Wertvorschlag der Seite entfernt." Kein Durchklicken. Keine Anerkennung. Nur Antworten.
Tong sagte, dass Webflow einen Anstieg des KI-Crawler-Verkehrs um mehr als 125 % in nur sechs Monaten verzeichnet hat. Im gesamten Internet-Ökosystem kommen mittlerweile mehr als 50 % des gesamten Internetverkehrs von Bots. Und da der Bot-Verkehr stark ansteigt, sagte Tong, ziehen einige Unternehmen mittlerweile eine Grenze – buchstäblich. Sie bauen zwei Versionen ihrer Websites. Eine ist für Menschen gestaltet, mit visuellen Inhalten, Interaktion und markengerechtem Storytelling. Und die andere ist vereinfacht, optimiert für maschinelle Lesbarkeit und so konzipiert, dass sie der KI Nahrung bietet, ohne (sozusagen) die Kronjuwelen preiszugeben.
"Für einen Menschen sollte Ihre Seite reichhaltig, interaktiv und erfreulich sein," sagte Tong. "Für einen Bot? Sie möchten eine klare Struktur, leichte Durchsuchbarkeit, aber vielleicht nicht den vollen Inhalt." Einige Verlage zeigen Crawlern jetzt nur eine Zusammenfassung oder einen Auszug, in der Hoffnung, den Index zu ködern, ohne ihr Monetarisierungsmodell zu kannibalisieren.
Das Ergebnis ist ein leise geteiltes Internet: eine Version, die darauf abzielt, menschliche Nutzer zu erfreuen, und eine andere, die darauf ausgelegt ist, den Crawlern nur bestimmte Inhalte zu liefern, um den Wert zu schützen, der noch einen Klick wert ist.
Für einige Unternehmen, einschließlich Webflow selbst, kann es tatsächlich ein gutes Geschäft sein, von KI ausgespäht zu werden.
Wenn ein Benutzer ChatGPT fragt, welches die beste Website-Plattform ist, und Webflow empfohlen wird, ist das wertvolle Aufmerksamkeit - insbesondere, da, wie Tong festgestellt hat, Benutzer, die über KI kommen, tendenziell besser informiert und mehr „mit hoher Absicht“ sind oder eher zu Kunden werden, als solche über die Suche.
„Sie haben ihre Recherchen bereits abgeschlossen“, sagte sie. „Wenn sie auf Ihrer Seite landen, melden sie sich an oder kaufen.“
Aber diese Logik bricht zusammen für Unternehmen, die sowohl auf Volumen als auch auf ,Leser angewiesen sind, insbesondere Medienunternehmen, Kreative und alle, deren Modell auf traditionellem Web-Traffic basiert. Wenn ein Chatbot einen Nachrichtenartikel zusammenfasst oder Kerninformationen aus einem Leitfaden oder einer Rezension zieht, klickt dieser Nutzer möglicherweise nie weiter. Und kein Klick bedeutet keine Anzeigenimpressionen, keine E-Mail-Anmeldungen, keine Zielgruppen-Daten, kein Umsatz, kein realisierter Wert jeglicher Art.
Adam Singolda, der CEO von Taboola, einer Ad-Tech-Plattform, die bekannt dafür ist, „Empfohlen für Sie“-Links bei großen Verlegern zu implementieren, brachte es auf den Punkt: „Wir haben diesen Film schon einmal gesehen. Verlage haben ihre Inhalte Facebook $META für Instant Articles gegeben, und was ist passiert? Kein Traffic. Kein Geld.“ Das Ungleichgewicht war so groß, dass das gesamte Modell zusammenbrach, sagte er.
Es ist wahr. Facebook startete Instant Articles im Jahr 2015 mit dem Versprechen schneller Ladezeiten und eines nahtlosen mobilen Erlebnisses. Verleger machten mit, in der Hoffnung, ein massives Publikum innerhalb der Facebook-App zu erreichen. Aber während Instant Articles sein Versprechen eines Feeds hielt, lieferte es keine bedeutenden Einnahmen. Leser blieben innerhalb der Facebook-Mauern und umgingen die eigenen Websites der Verleger und damit die Werbung, die E-Mail-Anmeldungen und die Tracking-Tools, die ihre Geschäftsmodelle befeuerten.
Innerhalb weniger Jahre hatten viele Medienunternehmen das Format aufgegeben und enttäuschte Renditen und mangelnde Kontrolle zitiert. Im Jahr 2023 hat Facebook still und leise geschlossen das Programm.
Singolda glaubt, dass Tools wie Perplexity und ChatGPT diesen Fehler in größerem Maßstab wiederholen, aber mit noch weniger Nutzen für Verleger. Die Auswirkungen seien bereits sichtbar, sagte er. Viele Verleger berichten, dass der Suchverkehr im letzten Jahr um 20-30 % gesunken ist – gerade als KI-Tools Massenzuwendung erfuhren und ChatGPT 400 Millionen wöchentliche aktive Nutzer.
„Das ist nur die erste Welle“, sagte Singolda. „Was passiert, wenn die nächste landet?“
Angesichts dieser langsamen Entkopplung von Inhalten und Traffic wehren sich Verlage und Plattformen. Einige haben Lizenzverträge unterschrieben – darunter Reddit $RDDT, The New York Times und Vox Media –, die bestimmten KI-Unternehmen den Zugang zu ihren Inhalten im Austausch für hohe Gebühren gewähren. Aber diese Deals sind die Ausnahme, nicht die Regel.
„Es gibt nicht genug Geld auf der Welt, um jedem Verlag zu zahlen, dessen Inhalte abgegriffen werden“, sagt Singolda. „Man kann nicht 100 Millionen Dollar an tausend Kanäle anbieten.“
Tong sieht eine andere Zukunft: eine, in der Verlage kontrollieren, wer auf ihre Inhalte zugreifen kann und was sie sehen können. Durch die Partnerschaft von Webflow mit Cloudflare können Unternehmen jetzt zwischen guten Bots, schlechten Bots und LLMs unterscheiden. Sie können sich entscheiden, Teilinhalte, Zusammenfassungen oder gar nichts zu teilen.
Die Durchsetzung bleibt jedoch etwas knifflig. Nicht jeder Bot respektiert robots.txt, den Begriff für eine Crawl-Politik einer Website, die im Klartext für Bots zu lesen geschrieben ist. Einige Unternehmen – Perplexity wurde öffentlich beschuldigt, – verwenden Proxy-Server, um Inhalte abzugreifen, selbst nachdem sie blockiert wurden. Das bedeutet, dass selbst wenn die Mauern hochgezogen werden, das Abgreifen weitergeht.
Inzwischen steht viel mehr auf dem Spiel als nur Traffic. In einer Welt, in der Bots zuerst antworten, kann der Unterschied zwischen anerkannter und kannibalisierter Arbeit ganze Branchen machen oder brechen.
Bereits jetzt werden einige von KI generierte Seiten erstellt, nicht für Menschen zum Lesen, sondern für andere KIs zum Abgreifen. Es ist ein geschlossener Kreislauf von Maschinen für Maschinen erstellten Inhalten.
Um dem entgegenzuwirken, setzen Unternehmen wie Taboola auf neue Modelle – darunter Deeper Dive, eine in die eigenen Websites der Verlage integrierte KI-Erfahrung. Anstatt Benutzer an externe Bots zu verlieren, können Benutzer Fragen stellen und Antworten auf Grundlage der bestehenden Berichterstattung einer Publikation erhalten. „Sie erhalten die KI-Interaktion“, sagte Singholda, „aber der Verlag behält die Beziehung, den Traffic, das Vertrauen.“
Dieses Vertrauen könnte zur wertvollsten Währung von allen werden. In einer Welt reibungsloser Antworten wollen die Menschen immer noch etwas Echtes, argumentierte er.
„Wir sind Menschen“, sagte Singolda. „Wenn es darauf ankommt, wie bei Ihrem Geld, Ihrer Gesundheit oder Ihrem Kind, wollen wir immer noch wissen, wer da spricht.“
