Verlage klagen. Cloudflare hat sich zu einem Türsteher des Internets entwickelt. Und KI-Unternehmen entdecken, dass sie möglicherweise ihren eigenen Brunnen vergiftet haben.
Getty Images
Eine Version dieses Artikels erschien ursprünglich im AI & Tech-Newsletter von Quartz. Melden Sie sich hier an, um die neuesten Nachrichten, Analysen und Einblicke zu KI & Tech direkt in Ihren Posteingang zu bekommen..
Als OpenAI das Internet durchstöberte, um die erste Version von ChatGPT zu trainieren, war das Web ein digitales Buffet, das zur Ernte bereitstand. Jahre von Blogbeiträgen, massive Buchsammlungen, endlose Reddit $RDDT-Diskussionen — all das lag da, unbewacht und frei zugänglich. Die Menge an benötigten Daten war enorm, aber sie warteten nur darauf, geerntet zu werden.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
Diese Ära ist vorbei.
Verlage klagen wegen der früheren Nutzung und fordern Bezahlung für zukünftige Inhalte. Cloudflare ist zum Türsteher des Internets geworden und blockiert KI-Crawler standardmäßig, es sei denn, sie zahlen. Die hochwertigen Daten, die zur Ausbildung der nächsten Generation von KI-Modellen benötigt werden, liegen nicht mehr einfach so herum — und KI-Unternehmen entdecken, dass sie ihren eigenen Brunnen vergiftet haben könnten.
Die Zahlen erzählen die Geschichte eines dramatischen Wandels. Laut Cloudflares Analyse, Anthropic's Claude machte fast 71.000 Seitenaufrufe für jede einzelne Weiterleitung, die er an Verlage zurückschickte. Das Verhältnis von OpenAI betrug 1.600 Anfragen pro Weiterleitung, während Perplexity mit mehr als 200 zu 1 erreichte. Vergleichen Sie das mit traditionellen Suchmaschinen wie Google $GOOGL, die ein Verhältnis von etwa 9 zu 1 beibehielten – eine Beziehung, die, trotz aller Beschwerden von Verlagen über die Jahre, jetzt eine faire Partnerschaft darstellt.
Seit Google im Mai 2024 die AI-Überblicke eingeführt hat, hat sich der Anteil der Nachrichtensuchen, die keine Klicks auf Verlagswebsites zur Folge haben, von 56 % auf fast 69 % erhöht. Der organische Traffic zu Nachrichtenseiten stürzte von über 2,3 Milliarden Besuchen auf seinem Höhepunkt auf weniger als 1,7 Milliarden bis Mai 2025 ab.
Der Traffic-Einbruch ist für Verlage verheerend, die ihre Geschäftsmodelle auf Werbeeinnahmen und Leserengagement aufgebaut haben. Digitale Medienunternehmen haben mit Massenentlassungen reagiert,und einige Analysten vermuten, dass Schließungen bevorstehen.
Dies schafft eine zerstörerische Rückkopplungsschleife: Da Verlage weniger Inhalte produzieren oder diese sperren, verlieren KI-Unternehmen den Zugang zu den frischen, hochwertigen Informationen, die sie benötigen, um ihre Modelle aktuell und genau zu halten. Das Web droht, zunehmend veraltet und synthetisch zu werden, mehr bevölkert von KI-generierten Inhalten als von menschlicher Expertise und Berichterstattung.
Verlage wehren sich vor Gericht mit einer Klagewelle, die zu großen Auszahlungen führen könnte. Anthropic hat kürzlich zugestimmt, mindestens 1,5 Milliarden Dollar zu zahlen um eine Sammelklage von Autoren beizulegen, was etwa 3.000 Dollar pro Buch entspricht.
Reddit, das Lizenzvereinbarungen unterzeichnet hat im Wert von 203 Millionen Dollar Anfang 2024, drängt bereits auf lukrativere Deals. Das Unternehmen ist in Gesprächen mit Google und OpenAI über Vereinbarungen, die dynamische Preisgestaltung einschließen würden, was es Reddit ermöglichen würde, mehr zu verlangen, da seine Daten zunehmend wichtig für KI-Antworten werden.
Selbst Unternehmen, die historisch die freie Information gefördert haben, schließen sich der „Mautstellen-Ökonomie“ an. WalletHub kürzlich hat 40.000 Seiten mit Finanzinhalten aus dem öffentlichen Zugang genommen und sie nur noch für eingeloggte Nutzer verfügbar gemacht. CEO Odysseas Papadimitriou verglich die Situation mit dem Umgang mit der Mafia: "Entweder sie sperren die Straße, auf der sich Ihr Restaurant befindet, sodass keine Kunden zu Ihnen gelangen können, oder sie halten die Straße frei, eröffnen aber ein Restaurant neben Ihrem und lassen Sie deren Kunden kostenlos bedienen."
Cloudflare, das etwa 20 % des gesamten Internetverkehrs abwickelt, reagierte auf die massive Menge an Bot-Traffic, der das Web für AI-Training durchforstet, indem es die Standardeinstellung des Internets umschaltete. Anstatt AI-Crawlern freien Zugang zu gewähren, es sei denn, sie werden speziell blockiert, blockiert das Unternehmen sie jetzt standardmäßig, es sei denn, sie zahlen für Content-Lizenzen.
"Der Deal, den Google gemacht hat, um Inhalte im Austausch für den Versand von Traffic zu nehmen, macht einfach keinen Sinn mehr," sagte Cloudflare-CEO Matthew Prince in einem Blogbeitrag.
Die Branche versucht, aus dem Chaos Ordnung zu schaffen. Ein Konsortium aus Verlagen und Technologieunternehmen hat stellte den Really Simple Licensing (RSL) Standard vor., der von KI-Crawlern verlangen würde, gültige Lizenz-Token vorzulegen, bevor sie auf Inhalte zugreifen. Das System wird von großen Akteuren wie O'Reilly Media, Reddit, Yahoo und Medium unterstützt.
Aber technische Lösungen stoßen auf praktische Grenzen. Wie der Journalist und Medienkritiker Pete Pachal feststellte, gibt es "unzählige" Möglichkeiten für KI-Unternehmen, den Zugriff auf gesperrte Inhalte über Relays, Drittsysteme und verschiedene Arten von Bots zu erhalten. Selbst ausgeklügelte Blockierungsmaßnahmen laufen oft auf "Whack-a-Mole"-Spiele hinaus.
Google, gefangen in seinem eigenen Widerspruch, gab kürzlich in einem Gerichtsdokument zu, dass "das offene Web bereits stark im Niedergang begriffen ist" — ein krasser Gegensatz zu den öffentlichen Aussagen der Führungskräfte, dass "das Web floriert."
Das Eingeständnis spiegelt eine neue Realität für KI-Unternehmen wider: Die Ära des kostenlosen Mittagessens ist vorbei. Die nächste Generation von KI-Modellen wird nicht nur bessere Algorithmen erfordern, sondern auch größere Scheckbücher. Die Frage ist nicht, ob KI-Unternehmen für Daten bezahlen müssen. Sie werden es tun. Die Frage ist, wie viel sie bereit sein werden auszugeben und ob die Schöpfer des Internets endlich ihren fairen Anteil am KI-Goldrausch bekommen werden.
