OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff

OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff

Sam Altmans KI-Startup hat kürzlich mehrere wichtige Mitglieder seines Superalignment-Teams verloren

Von
Für die Links auf dieser Seite können wir eine Provision verdienen.
Diaschau beginnen
Diaschau beginnen
Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Foto: Justin Sullivan (Getty Images)

OpenAI startete sein Superalignment-Team vor fast einem Jahr mit dem ultimativen Ziel, hypothetische superintelligente KI-Systeme zu kontrollieren und zu verhindern, dass sie sich gegen die Menschen wenden. Natürlich machten sich viele Menschen Sorgen: Warum musste ein solches Team überhaupt existieren? Nun ist etwas Besorgniserregenderes passiert: Die Leiter des Teams, Ilya Sutskever und Jan Leike, beenden Sie OpenAI einfach.

Werbung

Der Rücktritt der Superalignment-Führung ist der jüngste in einer Reihe bemerkenswerter Abgänge aus dem Unternehmen, von denen einige aus dem sicherheitsorientierten Team von Sutskever und Leike kamen. Bereits im November 2023 führten der Vorstand von Sutskever und OpenAI einen gescheiterten Versuch an, Superalignment abzusetzen. CEO Sam Altman. Sechs Monate später haben mehrere Mitarbeiter von OpenAI das Unternehmen verlassen, die sich entweder offen zur Sicherheit von KI geäußert haben oder in wichtigen Sicherheitsteams mitgearbeitet haben.

Sutskever entschuldigte sich schließlich für den Putsch (mein Fehler, Kumpel!) und unterzeichnete zusammen mit 738 OpenAI-Mitarbeitern (von insgesamt 770) einen Brief, in dem er die Wiedereinstellung von Altman und Präsident Greg Brockman forderte. Kopie des Briefes, den die New York Times mit 702 Unterschriften erhalten hat (die vollständigste öffentliche Kopie, die Gizmodo finden konnte), mehrere Mitarbeiter, die inzwischen gekündigt haben, haben die Unterstützungsbekundung für die Führung von OpenAI entweder nicht unterzeichnet oder waren Nachzügler.

Die Namen der Superalignment-Teammitglieder Jan Leike, Leopold Aschenbrenner und William Saunders – die inzwischen ausgestiegen sind – erscheinen nicht neben den mehr als 700 anderen OpenAI-Mitarbeitern, die Altman und Brockman unterstützen. Mal‘ Kopie. Der weltbekannte KI-Forscher Andrej Karpathy und die ehemaligen OpenAI-Mitarbeiter Daniel Kokotajlo und Cullen O’Keefe erscheinen ebenfalls nicht in dieser frühen Version des Briefes und haben OpenAI mittlerweile verlassen. Diese Personen haben die spätere Version des Briefes möglicherweise unterzeichnet, um ihre Unterstützung zu signalisieren, aber wenn das dem zutrifft, scheinen sie die letzten gewesen zu sein, die das taten.

Gizmodo hat OpenAI um einen Kommentar dazu gesucht, wer das Superalignment-Team von nun an leiten wird, aber wir haben nicht sofort eine Antwort erhalten.

Im weiteren Sinne war die Sicherheit bei OpenAI schon immer ein kontroverses Thema. Das war es, was Dario und Daniela Amodei im Jahr 2021 dazu veranlasste, ein eigenes KI-Unternehmen zu gründen, Anthropic, neben neun anderen ehemaligen OpenAI-Mitarbeitern. Die Sicherheitsbedenken waren Berichten nach auch der Grund der gemeinnützigen Vorstandsmitglieder von OpenAI, Altman und Brockman abzusetzen. Diese Vorstandsmitglieder wurden durch einige berühmte Unternehmer aus dem Silicon Valley ersetzt.

Bei OpenAI arbeiten immer noch viele Leute an der Sicherheit des Unternehmens. Schließlich besteht die erklärte Mission des Startups darin, eine sichere künstliche Intelligenz (AGI) zu schaffen, die der Menschheit zugutekommt! Vor diesem Hintergrund finden Sie hier Gizmodos laufende Liste namhafter KI-Sicherheitsbefürworter, die OpenAI seit Altmans Absetzung verlassen haben. Klicken Sie sich auf Ihrem Desktop durch oder scrollen Sie einfach auf Ihrem Mobilgerät weiter.

Werbung
Vorherige Folie
Nächste Folie

2 / 9

Ilya Sutskever & Jan Leike

Ilya Sutskever & Jan Leike

Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Foto: JACK GUEZ / AFP (Getty Images), Bildschirmfoto: X (Getty Images)

Die ehemaligen Leiter des Superalignment-Teams von OpenAI haben diese Woche gleich ihren Rücktritt verlassen, einen Tag nachdem das Unternehmen sein beeindruckendes GPT-4 Omni-Modell veröffentlicht hat. Das Ziel von Superalignment, das bei der Veröffentlichung im Juli 2023 umrissen wurde, war die Entwicklung von Methoden zur „Steuerung oder Kontrolle einer potenziell superintelligenten KI und zur Verhinderung ihrer Abtrünnigkeit.“

Werbung

OpenAI gab damals an, dass es versuche, diese superintelligenten Modelle zu bauen, aber keine Lösung für ihre Steuerung habe. Es ist unklar, ob der Abgang von Leike und Sutskever mit Sicherheitsbedenken zusammenhing, aber ihre Abwesenheit lässt sicherlich Raum für Spekulationen.

Werbung
Vorherige Folie
Nächste Folie

Andrej Karpathy

Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Foto: Michael Macor/The San Francisco Chronicle (Getty Images)

Karpathy, ein Gründungsmitglied von OpenAI, verließ das Unternehmen im Februar 2024 zum zweiten Mal. Damals bemerkte er, dass „nichts passiert“ sei, obwohl sein Abgang etwa ein Jahr, nachdem er Tesla verlassen hatte, um wieder zu OpenAI zurückzukehren, erfolgte. Karpathy gilt weithin als einer der einflussreichsten und angesehensten Köpfe im Bereich der künstlichen Intelligenz. Er arbeitete in Stanford unter der „Patin der KI“ Fei-Fei Li, einer weiteren ausgesprochenen Verfechterin der KI-Sicherheit.

Werbung
Vorherige Folie
Nächste Folie

4 / 9

Das alte OpenAI Board

Das alte OpenAI Board

Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Foto: Jerod Harris (Getty Images)

Helen Toner und Tasha McCauley waren die ersten Opfer von Sam Altmans Rückkehr an die Macht. Als Altman zurückkam, waren die beiden draußen.

Werbung

Damals sagte Toner, die Entscheidung, Altman zu entlassen, sei auf „die Fähigkeit des Vorstands, das Unternehmen effektiv zu beaufsichtigen“ zurückzuführen. Auch wenn dies ein wenig beunruhigend klang, sagte Toner, sie werde ihre Arbeit mit dem Schwerpunkt auf KI-Politik, -Sicherheit und -Schutz fortsetzen. McCauley hingegen sagte damals sogar noch weniger, obwohl sie Verbindungen zur Bewegung des effektiven Altruismus hat, die behauptet, die Gefahren der KI gegenüber kurzfristigen Profiten zu bekämpfen.

Werbung
Vorherige Folie
Nächste Folie

5 / 9

Leopold Aschenbrenner & Pavel Izmailov

Leopold Aschenbrenner & Pavel Izmailov

Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Bildschirmfoto: The Information

Aschenbrennar war ein bekannter Verbündeter von Sutskever und Mitglied des Superalignment-Teams. Er wurde im April 2024 entlassen, weil er angeblich Informationen an Journalisten weitergegeben hatte, heißt es in einer Erklärung. Die Informationen. Außerdem hat er Verbindungen zur Bewegung des effektiven Altruismus.

Werbung

Izmailov war ein weiterer Mitarbeiter, der im April 2024 entlassen wurde, weil er Informationen an Journalisten weitergegeben hatte. Er arbeitete im Argumentationsteam, war aber auch mit der Sicherheitsseite betraut.

Werbung
Vorherige Folie
Nächste Folie

William Saunders

Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Foto: Joan Cros/NurPhoto (Getty Images)

Saunders, ein OpenAI-Mitarbeiter im Superalignment-Team von Sutskever und Leike, trat im Februar 2024 zurück, laut Business Insider. Es ist unklar, warum er genau zurückgetreten ist.

Werbung
Vorherige Folie
Nächste Folie

Daniel Kokotajlo

Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Foto: Joan Cros/NurPhoto (Getty Images)

Kokotajlo trat im April 2024 von OpenAI zurück, nachdem er im Governance-Team des Unternehmens gearbeitet war, wie auch Business Insider berichtete. Auf Kokotajlos Weniger Falsche Seiteschreibt er, dass er „OpenAI verlassen habe, weil er das Vertrauen verloren habe, dass es sich zum Zeitpunkt der Einführung von AGI verantwortungsvoll verhalten würde.“

Werbung
Vorherige Folie
Nächste Folie

Cullen O’Keefe

Bild für Artikel mit dem Titel OpenAI-Mitarbeiter, die dafür sorgen sollen, dass die KI nicht außer Kontrolle gerät, verlassen schnell das Schiff
Bildschirmfoto: YouTube

O’Keefe scheint im April 2024 von OpenAI zurückgetreten zu sein, nachdem er über vier Jahre im Governance-Team des Unternehmens tätig war, wie aus seinem LinkedIn-Account hervorgeht. O’Keefe bloggt häufig über die Sicherheit von KI und sagt in einem Beitrag: er verfolgt weiterhin „Sichere und nützliche AGI, aber jetzt in einer unabhängigen Rolle.“

Werbung

Eine Version dieses Artikels erschien ursprünglich auf Gizmodo.

Dieser Inhalt wurde maschinell aus dem Originalmaterial übersetzt. Aufgrund der Nuancen der automatisierten Übersetzung können geringfügige Unterschiede bestehen. Für die Originalversion klicken Sie hier

Werbung