OpenAIs neuer Sicherheitsausschuss hat einige Vorschläge

Nahaufnahme von Sam Altman, der auf der Bühne vor einem schwarzen Hintergrund sprichtGetty ImagesDrei Monate nach seiner Gründung, OpenAIs neues Sicherheitskomitee ist jetzt ein

unabhängiger Aufsichtsausschuss des Vorstands, und hat seine ersten Sicherheitsempfehlungen für die Projekte von OpenAI abgegeben, laut einem Beitrag auf der Website des Unternehmens.Zico Kolter, Direktor der Abteilung für maschinelles Lernen an der Carnegie Mellon School of Computer Science, wird den Vorsitz des Vorstands übernehmen, teilte OpenAI mit. Dem Vorstand gehören außerdem der Mitbegründer und Geschäftsführer von Quora, Adam D’Angelo, der pensionierte US-General Paul Nakasone und Nicole Seligman, ehemalige Executive Vice President der Sony Corporation (

SONY). OpenAI kündigte im Mai das Sicherheitskomitee an, nach

Auflösung des Superalignment-Teams, das sich der Kontrolle der existentiellen Gefahren der KI widmete. Ilya Sutskever und Jan Leike, die Co-Leiter des Superalignment-Teams, traten beide vor der Auflösung des Unternehmens aus der Firma aus. Das Komitee überprüfte die Sicherheitskriterien von OpenAI sowie die Ergebnisse der Sicherheitsbewertungen für seine

neueste KI-Modelle die „denken“ können, o1-Vorschau

, vor der Einführung, sagte das Unternehmen. Nach einer 90-tägigen Überprüfung der Sicherheitsmaßnahmen und Schutzvorkehrungen von OpenAI hat das Komitee Empfehlungen in fünf Schlüsselbereichen abgegeben, die das Unternehmen nach Angaben umsetzen will.

Hier ist, was der neue unabhängige Aufsichtsausschuss des Vorstands von OpenAI dem KI-Startup für die weitere Entwicklung und Bereitstellung seiner Modelle empfiehlt.

„Aufbau einer unabhängigen Governance für Sicherheit“Die Führungskräfte von OpenAI müssen das Komitee über Sicherheitsbewertungen der wichtigsten Modellveröffentlichungen informieren, wie dies beispielsweise bei o1-preview der Fall war. Das Komitee kann außerdem gemeinsam mit dem gesamten Vorstand die Aufsicht über die Modellveröffentlichungen von OpenAI ausüben, d. h. es kann die Veröffentlichung eines Modells verzögern, bis Sicherheitsbedenken ausgeräumt sind.Diese Empfehlung ist wahrscheinlich ein Versuch, das Vertrauen in die Unternehmensführung wiederherzustellen, nachdem der Vorstand von OpenAI im November versucht hatte, den Vorstandsvorsitzenden Sam Altman zu stürzen. Altman wurde verdrängt, sagte der Vorstand, weil er „in seiner Kommunikation mit dem Vorstand nicht immer aufrichtig war“. Trotz mangelnder Transparenz über die genauen Gründe seiner Entlassung wurde Altman

Tage später wieder eingesetzt

.

„Verbesserung der Sicherheitsmaßnahmen“

OpenAI sagte, dass es mehr Personal einstellen wird, um rund um die Uhr im Sicherheitsbetrieb Teams zu bilden und weiterhin in die Sicherheit seiner Forschungs- und Produktinfrastruktur zu investieren. Nach der Prüfung durch das Komitee sagte das Unternehmen es, es habe Möglichkeiten gefunden, mit anderen Unternehmen der KI-Branche im Sicherheitsbereich zu zusammenarbeiten, unter anderem durch die Entwicklung eines Informationsaustausch- und Analysezentrums zu entwickeln um Bedrohungs- und Cybersicherheitsinformationen zu melden.

Im Februar teilte OpenAI mit, es habe OpenAI-Konten von „fünf staatlich verbundenen böswilligen Akteuren“ gefunden und geschlossen, die KI-Tools, darunter ChatGPT, für die Durchführung von Cyberangriffen nutzten.

„Diese Akteure wollten im Allgemeinen die Dienste von OpenAI nutzen, um Open-Source-Informationen abzufragen, zu übersetzen, Codierungsfehler zu finden und einfache Codierungsaufgaben auszuführen“, erklärte OpenAI in einer Erklärung. OpenAI erklärte, seine „Ergebnisse zeigen, dass unsere Modelle nur begrenzte, inkrementelle Fähigkeiten für böswillige Cybersicherheitsaufgaben bieten.“„Transparent sein hinsichtlich unserer Arbeit“Das Unternehmen hat Systemkarten veröffentlicht, die die Fähigkeiten und Risiken seiner neuesten Modelle detailliert beschreiben, darunter GPT-4o und

o1-Vorschau

OpenAI teilte mit, dass das Unternehmen plane, weitere Möglichkeiten zu finden, seine Arbeit rund um die KI-Sicherheit zu teilen und zu erklären.

Das Startup sagte, es habe neue Sicherheitstrainingsmaßnahmen für die Denkfähigkeiten von o1-preview entwickelt und fügte hinzu, dass die Modelle trainiert worden seien, „um ihren Denkprozess zu verfeinern, verschiedene Strategien auszuprobieren und ihre Fehler zu erkennen“. Beispielsweise erzielte o1-preview in einem der „härtesten Jailbreaking-Tests“ von OpenAI ein besseres Ergebnis als GPT-4.

„Zusammenarbeit mit externen Organisationen“OpenAI sagte, dass es mehr Sicherheitsbewertungen seiner Modelle durch unabhängige Gruppen möchte, und fügte hinzu, dass es bereits mit externen Sicherheitsorganisationen und Laboren zusammenarbeite, die nicht der Regierung angehören. Das Start-up arbeitet auch mit den AI Safety Institutes in den USA und Großbritannien an Forschung und Standards. Im August haben OpenAI und Anthropic

eine Einigung erzielt

mit der US-Regierung, um ihr vor und nach der öffentlichen Veröffentlichung Zugriff auf neue Modelle zu ermöglichen. „Vereinheitlichung unserer Sicherheitsrahmen für die Modellentwicklung und -überwachung“Da seine Modelle immer komplexer werden (zum Beispiel behauptet es, sein neues Modell

kann „denken“), erklärte OpenAI, dass es auf seinen bisherigen Praktiken zur öffentlichen Veröffentlichung von Modellen aufbaut und ein etabliertes integriertes Sicherheits- und Schutz-Framework anstrebt. Das Komitee ist befugt, die Risikobewertungen zu genehmigen, die OpenAI verwendet, um zu bestimmen, ob es seine Modelle veröffentlichen kann. Helen Toner, eines der ehemaligen Vorstandsmitglieder von OpenAI, das an der Entlassung von Altman beteiligt war, sagte: