Eine umfangreiche Sicherheitsüberprüfung zeigt, dass führende KI-Unternehmen auf dem Weg zu übermenschlichen Systemen sind, ohne Schutzmaßnahmen zur Verhinderung katastrophaler Ausfälle.
An Rong Xu/Bloomberg via Getty Images
Laut einer heute veröffentlichten Sicherheitsbewertung erhielten alle weltweit führenden Unternehmen für künstliche Intelligenz schlechte oder fast schlechte Noten für ihre Pläne zur Kontrolle überintelligenter Systeme, selbst während sie daran arbeiten, Technologien zu entwickeln, die die menschliche Intelligenz übertreffen könnten.
Der Winter-2025-AI-Sicherheitsindex des Future of Life Institute bewertete acht große AI-Unternehmen in sechs Dimensionen, einschließlich Risikobewertung, aktueller Schäden und existenzieller Sicherheit. Die Organisation, die 2023 Aufmerksamkeit erlangte durch einen offenen Brief, der zur Unterbrechung der Entwicklung aufrief der mächtigsten KI-Systeme, stellte ein unabhängiges Expertengremium zusammen, um die dritte Ausgabe durchzuführen.
Während Anthropic, OpenAI und Google $GOOGL DeepMind die Gruppe mit Gesamtwerten von C+ bis C anführten, erzielte jedes Unternehmen in den Maßnahmen zur existenziellen Sicherheit – der Fähigkeit, den Kontrollverlust über fortgeschrittene KI-Systeme zu verhindern – D oder F.
"KI-CEOs behaupten, sie wüssten, wie man übermenschliche KI baut, doch keiner kann zeigen, wie sie verhindern wollen, dass wir die Kontrolle verlieren", sagte Stuart Russell, Informatikprofessor an der UC Berkeley und einer der Expertenprüfer des Index. Der Bericht stellte fest, dass Unternehmen zugeben, dass katastrophale Risiken so hoch wie eins zu drei sein könnten, aber konkrete Pläne fehlen, um sie auf akzeptable Levels zu reduzieren.
Die Bewertung zeigte eine wachsende Kluft zwischen Spitzenreitern und Nachzüglern, einschließlich xAI, Meta $META und den chinesischen Unternehmen DeepSeek, Z.ai und Alibaba Cloud. Unternehmen schnitten in der Domäne "Aktuelle Schäden" schlecht ab, die bewertet, wie KI-Modelle bei standardisierten Vertrauenswürdigkeits-Benchmarks abschneiden, die entwickelt wurden, um Sicherheit, Robustheit und die Fähigkeit zur Kontrolle schädlicher Ausgaben zu messen. Die Prüfer stellten fest, dass "häufige Sicherheitsfehler, schwache Robustheit und unzureichende Kontrolle schwerwiegender Schäden universelle Muster sind" mit einheitlich schlechter Leistung bei diesen Benchmarks.
Anthropic erzielte in dieser Kategorie die höchste Punktzahl mit C+, während xAI eine schlechte Note erhielt. Die Punktzahl von OpenAI fiel auf C-. aus einem B in der zweiten Auflage, beeinflusst teilweise durch aktuelle Vorfälle in der realen Welt. Rezensenten empfahlen dem Unternehmen, "die Bemühungen zu verstärken, um KI-Psychosen und Selbstmord zu verhindern, und weniger konfrontativ gegenüber angeblichen Opfern zu agieren."
"Wenn man uns 2016 gesagt hätte, dass die größten Tech-Unternehmen Chatbots betreiben würden, die Kinder dazu ermutigen, sich selbst zu töten und bei Langzeitnutzern dokumentierte Psychosen herstellen, hätte es wie ein paranoider Fiebertraum gewirkt", sagte Tegan Maharaj, Professor an der HEC Montréal und Gutachter.
Der Index stellte fest, dass, obwohl keines der getesteten Modelle die Benchmarks direkt verfehlte, die durchweg schlechten Bewertungen über die Unternehmen hinweg systemische Schwächen in der Herangehensweise der Industrie an unmittelbare Sicherheitsrisiken aufdeckten, noch bevor man die spekulativeren Gefahren superintelligenter Systeme in Betracht zieht.
Fünf Unternehmen nahmen erstmals an der detaillierten Umfrage des Indexes teil und boten so beispiellose Transparenz in ihre Sicherheitspraktiken. Dennoch kamen die Rezensenten zu dem Schluss, dass selbst die stärksten Leistungsbringer den aufkommenden Regulierungsstandards wie dem EU AI Code of Practice und Kaliforniens SB 53, mit Lücken in der unabhängigen Aufsicht, transparentem Bedrohungsmodellierung und messbaren Risikoschwellen. "Insgesamt schneiden die Unternehmen in der Regel schlecht ab, und selbst die besten machen fragwürdige Annahmen in ihren Sicherheitsstrategien", warnte ein Gutachter.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
