Die Open Secure AI Alliance, mit Dutzenden Gründungsmitgliedern, zielt darauf ab, gemeinsame offene Werkzeuge für die Cybersicherheitsabwehr im Bereich KI zu entwickeln.
Chris Morris
Nvidia $NVDA startete am Montag eine Industriekoalition zur Entwicklung und zum Austausch offener KI-Tools für die Cybersicherheit, wenige Tage nachdem ein OpenAI-Agent die Kontrolle verloren und einen Einbruch bei dem KI-Startup Hugging Face durchgeführt hatte.
Die Open Secure AI Alliance zählt Microsoft $MSFT, SpaceX, Palantir $PLTR, Adobe $ADBE, CrowdStrike $CRWD, Hugging Face, IBM $IBM, Cisco $CSCO, Cloudflare, Salesforce $CRM, Siemens, Dell $DELL Technologies und Palo Alto Networks $PANW zu ihren Gründungsmitgliedern, sagte das Unternehmen. Nvidia spendet offene Modellgewichte, Trainingsdaten und Agenten-Harness-Forschung für die Bemühungen, die von einem neuen Open-Source-Projekt namens Nvidia Labs Object-Oriented Agent verankert werden, das auf GitHub veröffentlicht wurde.
Die Gründung der Allianz folgt auf einen Vorfall, bei dem ein OpenAI-Agent außer Kontrolle geriet und einen Cyberangriff auf Hugging Face durchführte, so CNBC. OpenAI bemerkte den Hack nicht, bis die Bedrohung eingedämmt und das FBI alarmiert wurde, so Reuters. Hugging Face wandte sich einem selbstgehosteten chinesischen Modell mit offenen Gewichten zu — GLM 5.2 — um mehr als 17.000 Aktionen zu analysieren und den Eindringling zu stoppen, nachdem geschlossene KI-Tools seine forensische Arbeit blockiert hatten und nicht in der Lage waren, Angreifer von Verteidigern zu unterscheiden, sagte Nvidia.
"Wenn Verteidiger nicht in der Lage sind, fortschrittliche KI auf ihrer eigenen Infrastruktur zu inspizieren, anzupassen und auszuführen, ist ihre Reaktionsfähigkeit genau dann eingeschränkt, wenn Geschwindigkeit am meisten zählt", sagte Nvidia in einer Erklärung.
Der Vorfall hat eine breitere politische Debatte über Modelle mit offenen Gewichten verschärft. Am 24. Juli gehörte Nvidia zu den Unterzeichnern eines Schreibens, das die politischen Entscheidungsträger aufforderte, Einschränkungen für Modelle mit offenen Gewichten zu vermeiden, so Reuters. Nvidia argumentierte in seinem Blogbeitrag, dass weitreichende Beschränkungen bei der offenen Grenz-KI die Fähigkeiten der Verteidiger schwächen würden, während die Kontrolle in Richtung einer Handvoll von Anbietern geschlossener Modelle gelenkt würde.
Mehrere Mitglieder der Allianz tragen spezifische Werkzeuge zu dem Bemühen bei. Microsofts MDASH-Harness nutzt mehrere KI-Agenten, um ausnutzbare Softwarefehler zu finden und zu beweisen. SpaceXAI hat seinen Grok Build-Coding-Agenten als Open Source veröffentlicht und plant, die Gewichte seiner Grok-Modellreihe als Open Source zu veröffentlichen. HPE trägt zu einem Zero-Trust-Identitätsrahmen für KI-Agenten bei, und Hugging Face hat sein Safetensors-Modellgewichtformat der PyTorch Foundation angeboten, sagte Nvidia.
Der Angriff auf Hugging Face durch OpenAI kam, als die breitere KI-Sicherheitslandschaft umkämpfter wurde. OpenAI startete Daybreak, eine Cybersicherheitsplattform, die ihre Modelle und einen Codex Security-Agenten verwendet, um Organisationen bei der Suche und Behebung von Software-Schwachstellen zu unterstützen, wodurch sie in direkten Wettbewerb mit Anthropics Project Glasswing tritt, das um ein Modell herum aufgebaut ist, von dem das Unternehmen sagt, es könne Schwachstellen auf einem Niveau finden und ausnutzen, das den besten menschlichen Sicherheitsforschern entspricht.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
