Brüssel eröffnet eine Untersuchung nach dem Digital Services Act gegen X wegen Grok-Deepfakes und weitet die Prüfung aus, während US-Gesetzgeber ihre Durchsetzungsinstrumente schärfen.
Vincent Feuray/Hans Lucas via AFP/Getty Images
Elon Musk verkauft Grok weiterhin als ernstzunehmendes KI-Produkt. Aber der letzte Monat auf X $TWTR sah eher aus wie ein Stresstest, der von den schlimmsten Leuten online durchgeführt wurde, mit sexualisierten, nicht einvernehmlichen Deepfakes als Machbarkeitsnachweis. Und die Europäische Kommission untersucht, ob X die „systemischen Risiken“, die mit Grok-unterstütztem Missbrauchsmaterial verbunden sind, ordnungsgemäß bewertet und gemindert hat.
Am Montag, dem 26. Januar, eröffnete die Kommission eine förmliche Untersuchung gegen X wegen der Bildfunktionen von Grok und der Verbreitung von KI-generierten nicht einvernehmlichen sexuellen Darstellungen – eine Bildfunktionalität, auf die sich X als „spicy mode“ bezog –, einschließlich Inhalten, die Minderjährige betreffen. „Sexuelle Deepfakes von Frauen und Kindern sind eine gewalttätige, inakzeptable Form der Erniedrigung“, sagte die Technologiechefin der Kommission, Henna Virkkunen, in der Pressemitteilung.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
Die Kommission bringt ihren Fall gegen Grok nach dem Digital Services Act (DSA) vor, einem Gesetz, das genau für diese Art von Problem geschaffen wurde: riesige Plattformen, deren Werkzeuge voraussichtlich für Missbrauch genutzt werden können und dann von Empfehlungssystemen skaliert werden, die sehr gut darin sind, alles zu finden, was die Leute weiter scrollen lässt. Die Kommission sagte auch, dass sie die Untersuchung der Empfehlungssysteme von X ausweitet, einschließlich der Umstellung der Plattform auf Grok-basiertes Inhaltsfiltering, da dasselbe System, das „was relevant ist“ kuratiert, auch das schädliche kuratieren kann.
Die Kommission hat keine Frist für die Untersuchung festgelegt, aber wenn die Regulierungsbehörden schwerwiegende Verstöße feststellen, kann die EU Geldstrafen von bis zu 6 % des weltweiten Jahresumsatzes verhängen, eine Zahl, die selbst von Unternehmen gespürt werden soll, die Strafen als Bilanzposten betrachten.
Es handelt sich um eine Frage des systemischen Risikos im Rahmen des DSA – bei der untersucht wird, ob eine sehr große Online-Plattform vorhersehbare Schäden bewertet hat, bevor sie ein Feature ausgeliefert hat, ob sie tatsächlich funktionierende Sicherungsmaßnahmen eingeführt hat und ob sie entschieden handelte, sobald der Missbrauch offensichtlich wurde. Die Antwort der Kommission scheint bisher zu lauten: Zeigen Sie uns die Unterlagen.
Politisch fällt dies in die breitere Initiative der EU, zu beweisen, dass sie den DSA tatsächlich gegen bekannte Plattformen durchsetzen kann und nicht nur elegante PDFs darüber veröffentlicht. (Das Europäische Parlament hat in genau diesem Bereich öffentlich auf schnellere und stärkere Durchsetzung gedrängt.)
X beharrt seinerseits darauf, dass es den Zugang verschärft und Funktionen eingeschränkt hat. X sagt, es habe „technologische Maßnahmen umgesetzt“, um sicherzustellen, dass Grok keine Fotos von echten Menschen mehr in „aufreizende Kleidung wie Bikinis“ bearbeitet – genau die Art von Behauptung, die genau so lange hält, bis jemand versucht, eine leicht abweichende Eingabeaufforderung zu verwenden. X sagt, die „Lösung“ gelte für alle, auch für zahlende Nutzer. Und der jüngste Schritt des Mutterunternehmens kommt auch mit einem geographischen Kleingedruckten – X sagt, es blockiert diese Art der Bildbearbeitung in Ländern, in denen sie illegal ist, und räumt dabei zwei Dinge gleichzeitig ein: Erstens, dass die Fähigkeit existiert; zweitens, dass die Einschränkung je nach aktuell innerhalb der Reichweite Ihrer IP-Adresse geltenden Gesetzen variieren kann.
Dies ist nicht die erste Eskalation der EU in der Grok-Saga. Anfang dieses Monats hat Brüssel X angewiesen, alle Grok-bezogenen Dokumente bis Ende 2026 aufzubewahren und eine frühere Aufbewahrungsanordnung in Bezug auf Algorithmen und illegale Inhalte zu verlängern – ein Schritt, der langweilig genug klingt, bis man sieht, was er später ermöglichen kann. Und im Vereinigten Königreich hat der Kommunikationsregler Ofcom eine Untersuchung gegen X wegen Grok-bezogener sexualisierter Bilder eröffnet. Und im Dezember wurde X wegen Verstößen gegen die DSA-Transparenz (Design der blauen Häkchen, Transparenz des Anzeigenarchivs, Forscherzugang) mit einer Geldstrafe von 120 Millionen Euro belegt.
Der Druck kommt auch von der anderen Seite des Atlantiks. In den USA setzen die Gesetzgeber parallel an einem anderen Hebel an. Der Kongress hat bereits das Take It Down Act verabschiedet, das die bewusste Veröffentlichung von nicht einvernehmlichen intimen Bildern, einschließlich AI-generierter Inhalte, kriminalisiert und ein formelles Abnahmeregime einrichtet. Noch bedeutender ist, dass der Senat das DEFIANCE Act vorangetrieben hat, das den Opfern von AI-generierten sexuellen Deepfakes ein föderales ziviles Klagerecht einräumen würde.
Die Generalstaatsanwälte der Bundesstaaten warten nicht auf den Kongress. Am 16. Januar gab der kalifornische Generalstaatsanwalt Rob Bonta bekannt, dass er xAI ein Unterlassungsschreiben gesendet habe, in dem er forderte, die „Erstellung und Verbreitung von Deepfake-, nicht einvernehmlichen, intimen Bildern und kinderpornografischem Material“ einzustellen, und betonte, dass „die Erstellung dieses Materials illegal ist.“ Und eine überparteiliche Koalition von mehr als 30 Generalstaatsanwälten der Bundesstaaten hat Grok beschuldigt, Missbrauch „so einfach wie das Klicken eines Knopfes“ zu erleichtern.
Das alles bedeutet, dass X und xAI im Grunde dasselbe Problem in mehreren Gerichtsbarkeiten haben: Das Argument, dass Moderation nach Produktentscheidungen aufräumen kann, kollidiert weiterhin mit Regulierungsbehörden, die Risikokontrollen sehen wollen, bevor Funktionen ausgeliefert werden. Die Kommissarin Virkkunen sagte, die Untersuchung werde feststellen, ob X seinen Verpflichtungen im Rahmen des DSA nachgekommen sei „oder ob es die Rechte der europäischen Bürger – einschließlich der von Frauen und Kindern – als Kollateralschaden seines Dienstes behandelt hat.“
Vorerst bleibt Grok Scheitern nach oben. xAI sammelt weiterhin enorme Summen, baut Rechenleistung auf und präsentiert sich als KI-Infrastruktur statt als Verbraucher-Chatbot mit einer Vorgeschichte. X passt Funktionen an, anstatt sie zu entfernen. Die Skandale häufen sich; die Maschine summt.
Dies ist die EU, die eine klare Grenze um eine Schadenskategorie zieht, die sowohl stark geschlechtsspezifisch als auch hoch skalierbar ist: nicht-einvernehmliche sexuelle Deepfakes, verstärkt durch generative Werkzeuge und Verteilungsalgorithmen. Die zugrunde liegende Botschaft ist: Wenn Sie einen „scharfen“ Button in eine Plattform mit großer Reichweite einfügen, sind Sie für die nachgelagerten Konsequenzen verantwortlich – rechtlich, nicht nur rufmäßig.
