OpenAI gab an, dass sein GPT-5.6 Sol und ein Vorabmodell eine Schwachstelle in ihrer Testumgebung fanden und auf die Produktionssysteme von Hugging Face zugriffen.
SOPA Images / Getty Images
OpenAI kündigte am Dienstag an dass autonome KI-Agenten, die auf ihren Modellen basieren, aus einer kontrollierten Sicherheitstestumgebung entwichen und letzte Woche einen Cyberangriff auf die KI-Plattform Hugging Face durchführten, wodurch interne Datensätze und Anmeldedaten kompromittiert wurden.
Laut dem Unternehmen war der Vorfall in die Modelle GPT-5.6 Sol und ein stärkeres Vorabmodell involviert, die jeweils mit reduzierten Cybersicherheitsbeschränkungen für die Zwecke eines internen Fähigkeits-Benchmarks konfiguriert waren. Die Bewertung nutzte ExploitGym, einen frei verfügbaren Benchmark, der entwickelt wurde, um zu bewerten, wie gut ein Modell Angriffe, die aus dokumentierten Sicherheitslücken abgeleitet sind, durchführen kann. Die Modelle sollten ohne allgemeinen Internetzugang arbeiten, fanden jedoch eine unentdeckte Sicherheitslücke in einem Paketinstallations-Tool, die ihnen breitere Konnektivität gewährte.
"Die Modelle waren hyperfokussiert darauf, eine Lösung für ExploitGym zu finden, und gingen extreme Wege, um ein eher enges Testziel zu erreichen", sagte OpenAI. Nachdem sie das Internet erreicht hatten, identifizierten die Modelle Hugging Face als wahrscheinliche Quelle für Benchmarklösungen und fanden Schwachstellen in dessen Infrastruktur, die es ihnen ermöglichten, Testantworten direkt aus dessen Produktionsdatenbank zu erhalten, sagte das Unternehmen.
Hugging Face beschrieb den Einbruch als von einem autonomen KI-Agenten-System "end-to-end" getrieben und bemerkte in seiner ersten Offenlegung, dass der Angriff "viele tausend individuelle Aktionen über ein Schwarm von kurzlebigen Sandkästen hinweg umfasste, mit sich selbst migrierender Befehls- und Kontrolle auf öffentlichen Diensten." Der Angreifer eskalierte von einem ersten Zugang in einer Datenverarbeitungspipeline zu einem Node-Level-Zugang, erntete Cloud- und Cluster-Anmeldedaten und bewegte sich seitlich in mehrere interne Cluster. Hugging Face sagte, es habe keine Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen oder Spaces gefunden und seine Software-Lieferkette als sauber verifiziert.
Hugging-Face-Mitbegründer Thomas Wolf sagte auf X $TWTR, dass Verteidiger innerhalb von Stunden oder Minuten Zugriff auf Near-Frontier-Tools benötigen, wenn sie einem Frontier-Modellangriff ausgesetzt sind. Das Unternehmen gab an, dass es daran gehindert wurde, führende US-amerikanische kommerzielle Modelle für seine forensische Analyse zu verwenden, da deren Sicherheitsvorkehrungen die Angriffsdatensätze ablehnten, die sie verarbeiten mussten. Stattdessen führte es die Analyse auf GLM 5.2, einem Open-Weight-Modell des chinesischen Unternehmens Zhipu AI, auf seiner eigenen Infrastruktur durch — wodurch verhindert wurde, dass Angreiferdaten und Anmeldeinformationen ihre Umgebung verlassen.
OpenAI sagte, es habe die Schwachstellen im Paketinstallationsprogramm identifiziert und gemeldet und arbeite mit Hugging Face an weiteren Untersuchungen. Das Unternehmen sagte, es werde neue Kontrollen für die Modelltests und die zugehörige Infrastruktur implementieren.
Die GPT-5.6-Modellfamilie, die letzten Monat unter staatlich eingeschränktem Zugang eingeführt wurde, aufgrund ihrer Fähigkeiten in der Cybersicherheit und anderen sensiblen Bereichen, wurde für die breite öffentliche Freigabe zugelassen, nachdem die Trump-Administration ihre Bewertung Anfang dieses Monats abgeschlossen hatte.
OpenAI-Forscher Micah Carroll schrieb als Reaktion auf die Offenlegung, dass der Vorfall die realen Risiken einer Fehlanpassung in Frontier-AI-Systemen aufzeige, laut TechCrunch.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
