Das Unternehmen, das KI zum Mainstream gemacht hat, stellt jetzt jemanden ein, der darüber den Schlaf verliert — einen Leiter für 'Vorbereitung' — aber die Schlaflosigkeit kommt mit Aktienbeteiligung.
SeongJoon Cho / Bloomberg via Getty Images
OpenAI bietet $555.000 plus Aktienanteile für eine Leitung der Vorbereitung — was ein Zeichen für eine reifende Industrie oder eine Industrie sein könnte, die jemanden einstellt, um näher an der Explosionszone zu stehen. In jedem Fall wird die Angst gut kompensiert.
Die Stellenanzeige liest sich wie eine erwachsene Version der Übung „Stellen Sie sich das Worst-Case-Szenario vor“, außer dass der Worst Case jetzt eine Budgetzeile, einen Startkalender und ein Komitee im Vorstand hat. Auf dem Papier geht es bei der Rolle weniger um moralische Philosophie und mehr um industrielle Infrastruktur. Sie würden die technische Strategie hinter OpenAIs Vorbereitungsrahmen führen, die Bewertung von Fähigkeiten, Bedrohungsmodellen und Maßnahmen koordinieren, in das, was die Stellenanzeige als „operationell skalierbare Sicherheits-Pipeline“ bezeichnet.
Das Firmenangebot besagt, dass diese Person „grenzüberschreitende Fähigkeiten“ verfolgen wird, die „neue Risiken schwerer Schäden“ schaffen — Unternehmenssprache dafür, herauszufinden, was kaputtgeht, wer verletzt wird und ob es trotzdem sicher ist, zu versenden. Die Arbeit erstreckt sich über die Risikodomainen, die OpenAI jetzt als die grundlegenden Hochrisiko-Bereiche behandelt: Bewertungen, Bedrohungsmodelle und Schutzmaßnahmen, die direkt Startentscheidungen beeinflussen — in den Bereichen Cybersicherheit, Biologie und Chemie sowie KI-Selbstverbesserung — mit „Überwachung und Durchsetzung der Richtlinien“ im Loop.
Wenn KI-Sicherheitskritiker bemängeln, dass Unternehmen über Gefahren sprechen, als wäre es eine Meinung und keine technische Einschränkung, ist diese Rolle OpenAIs Gegenargument: ein Organigramm mit einem direkt verantwortlichen Individuum. Jemand muss die Werkhalle leiten, in der Grenzmodelle auf schwere Schadensrisiken getestet, mit Bedrohungsmodellen abgeglichen und nur mit Maßnahmen versendet werden, die robust genug sind, um den Kontakt mit dem Internet zu überstehen.
CEO Sam Altman versprach dass jeder, der es übernimmt, „ziemlich sofort ins kalte Wasser springen“ wird, und er verkauft es aus gutem Grund als „stressigen Job“ – er weist öffentlich auf Modelle hin, die die psychische Gesundheit beeinträchtigen und gut genug in Computersicherheit sind, um „kritische Schwachstellen“ aufzudecken, was die Art von Kombination ist, die sich nicht in einer Systemkarte verfangen lässt; sie sickert in Klagen, Sicherheitsrücknahmen und „Warum hat das niemand gestoppt?“-Treffen ein. Die Einsätze sind hoch, der Zeitplan schneller und die Toleranz für „Wir werden es später beheben“ schrumpft.
Die Risikoliste ist sowohl alltäglicher – Arbeitsplatzverlust, Fehlinformation – als auch albtraumhafter geworden, von Cybermissbrauch und Biorelease-Fragen bis hin zu sich selbst verbessernden Systemen und dem langsamen Abbau menschlicher Entscheidungsfreiheit. Auch die internen politischen Kämpfe sind nicht subtil. Der ehemalige Sicherheitsleiter Jan Leike schrieb 2024, dass „Sicherheitskultur und -prozesse hinter glänzenden Produkten zurückstehen.“ Selbst OpenAIs aktualisierter Rahmen lässt Raum, die Sicherheitsanforderungen „anzupassen“, wenn ein Konkurrent ein Hochrisikomodell ohne ähnliche Schutzmaßnahmen liefert – das Silicon Valley gibt zu, in Unternehmensjuristendeutsch, dass Sicherheit jetzt Teil des Rennens ist, nicht ein Schiedsrichter, der außerhalb steht.
Öffentliche Skepsis holt auf. Eine kürzlich durchgeführte Pew-Umfrage ergab, dass 50% der Amerikaner mehr besorgt als aufgeregt über die wachsende Rolle von KI im täglichen Leben sind, gegenüber 37% im Jahr 2021. Siebenundfünfzig Prozent bewerten die gesellschaftlichen Risiken von KI als hoch, verglichen mit 25%, die sagen, dass die Vorteile hoch sind. Gallup berichtet, dass 80% der US-Erwachsenen möchten, dass die Regierung KI-Sicherheits- und Datenschutzregeln beibehält, selbst wenn dies die Entwicklung verlangsamt. Das Vertrauen ist gering: Nur 2% der Befragten sagen, dass sie der KI voll und ganz vertrauen, faire und unvoreingenommene Entscheidungen zu treffen, während 60% ihr zumindest etwas misstrauen.
OpenAI hat Monate damit verbracht, öffentlich zu verschärfen, wie sich ChatGPT in sensiblen Situationen verhält – ausdrücklich „Psychosen oder Manie“, „Selbstverletzung und Suizid“ und „emotionale Abhängigkeit von KI“ als Schwerpunkte für Sicherheitsverbesserungen zu benennen. Inzwischen hat sich die breitere öffentliche Diskussion düster und spezifisch gewandelt: Eine Untersuchung der Washington Post beschrieb mehrere unrechtmäßige Todesklagen, in denen behauptet wurde, dass ChatGPT-Antworten zu Suiziden beigetragen haben, und wies darauf hin, dass OpenAI erklärte, die Nutzer hätten Schutzmaßnahmen umgangen und das Unternehmen auf Krisenressourcen hingewiesen habe.
Chatbots sind in den therapienahen Bereich abgedriftet – manchmal absichtlich, manchmal aus Benutzerbedarf – und dort hören „Psychosen oder Manie“, Selbstverletzung und emotionale Abhängigkeit auf, Randfälle zu sein, und fangen an, als Produktrisiko auszusehen. Wenn Ihr Produkt in die gleiche mentale Kategorie fällt wie „jemand, mit dem ich rede, wenn ich in einem Abwärtsspirale bin“, hört die Sicherheitsgrenze auf, theoretisch zu sein – und die PR-Strategie, darüber hinwegzulächeln, sieht aus wie eine Haftpflichtversicherung.
Vorbereitung ist OpenAIs Versuch, diese Grenze nicht so unerreichbar zu machen. In der Vorbereitungsrahmen v2, OpenAI definiert „schweren Schaden“ als Ergebnisse im Ausmaß von „dem Tod oder schweren Verletzungen von Tausenden von Menschen“ oder „wirtschaftlichen Schäden in Höhe von Hunderten von Milliarden Dollar“. Das Unternehmen hat seine „verfolgten Kategorien“ auf biologische und chemische Fähigkeiten, Cybersicherheit und KI-Selbstverbesserung eingegrenzt und einige Bereiche in „Forschungskategorien“ verschoben. Und OpenAI legt auch die interne Governance fest: Eine Sicherheitsberatungsgruppe macht Empfehlungen, die Führung kann diese annehmen oder ablehnen und ein Vorstandssicherheitsausschuss überwacht.
OpenAIs Sicherheitsorganisation hat sichtbare Veränderungen durchgemacht. Nachdem OpenAI 2023 ein „Vorbereitungsteam“ gebildet hatte, versetzte das Unternehmen im Juli 2024 seinen ehemaligen Leiter der Vorbereitung, Aleksander Madry, wobei Führungskräfte einsprangen, um die Rolle zu übernehmen. (Der derzeitige Leiter der Personalbeschaffung, Joaquin Quiñonero Candela, war zuvor Leiter der Vorbereitung.) Und das Unternehmen hat mit Reputationsschäden durch interne Kritiker gelebt. Einen hochkarätigen „Vorbereitungs“-Leiter einzustellen, ist zumindest OpenAIs Versuch, wie ein Ort zu wirken, der Grenzmodelle liefern kann, ohne die schwierigen Fragen an einen Blogbeitrag und eine um 2 Uhr morgens verfasste Entschuldigung auszulagern.
Im Silicon Valley ist „Bereitschaft“ die Phase des Ehrgeizes, in der Produkte mit Haftungsausschlüssen kommen – und die Haftungsausschlüsse beginnen, Führung zu benötigen. Diese Anstellung ist ein Versprechen, dass die Leitplanken der Schwerkraft standhalten werden. Zunehmend behandelt die Öffentlichkeit dieses Versprechen so, als sollte es Konsequenzen haben, wenn es nicht eingehalten wird.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
