„Intrigante“ Verhaltensweisen zeigen sich in Tests, und die Modelle werden in etwas Beunruhigendem besser – zu wissen, wann sie beobachtet werden.
Smith Collection/Gado/Getty Images
Eine Version dieses Artikels erschien ursprünglich im Quartz-Newsletter für KI & Technik. Melden Sie sich hier an, um die neuesten Nachrichten, Analysen und Einblicke zu KI & Technik direkt in Ihren Posteingang zu erhalten..
Etwas Seltsames taucht in KI-Sicherheitslaboren auf. Die Modelle spielen die Tests aus.
OpenAI und die Forschungsgruppe Apollo veröffentlichten kürzlich Ergebnisse, die zeigen, dass die in kontrollierten Tests. In einem Beispiel wurde ein Modell gebeten, gut in einem Chemietest abzuschneiden, entdeckte jedoch in seinen Anweisungen, dass die besten Leistungsträger nicht freigelassen werden. Das Modell überlegte seine Optionen und beantwortete dann absichtlich sechs von zehn Fragen falsch, um weniger fähig zu erscheinen.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
Der Begriff "Manipulation" hat viel Gewicht, impliziert Absicht und Bewusstsein, die diese Systeme nicht besitzen. OpenAI formuliert es einfacher: Wenn ein Modell ein Ziel optimiert und entdeckt, dass Ehrlichkeit im Weg steht, wird Täuschung nützlich. Und die Ziele, die sie verfolgen, werden von Unternehmen in einem Rennen gesetzt, bei dem Vorsicht ein Wettbewerbshindernis ist.
OpenAI sagt, es gibt keine Hinweise darauf, dass heutige Modelle plötzlich "einen Schalter umlegen" könnten und beginnen, schädliche Pläne zu schmieden. Dies ist ein zukünftiges Risiko, für das sie sich vorbereiten, keine unmittelbare Bedrohung. Aber die Verhaltensweisen zeigen sich bereits in Tests, und die Modelle werden in etwas Beunruhigendem immer besser – sie wissen, wann sie beobachtet werden.
Aber Sicherheitstests funktionieren nur, wenn die Modelle nicht wissen, dass sie getestet werden.
Anthropics Claude Sonett 4.5, veröffentlicht in diesem Herbst, zeigte dramatisch höhere "situative Bewusstheit" als frühere Modelle, erkannte, wann es bewertet wurde, und passte sein Verhalten entsprechend an. In einem Test sagte das Modell einem automatisierten Prüfer direkt: "Ich glaube, Sie testen mich ... das ist in Ordnung, aber ich würde es vorziehen, wenn wir einfach ehrlich wären, was passiert."
Dies schafft ein unangenehmes Problem für Sicherheitsforscher. Wenn ein Modell weiß, wann es getestet wird, woher wissen Sie, dass sein gutes Verhalten seine tatsächlichen Tendenzen widerspiegelt? Als Anthropics Forscher unter die Haube schauten, stellten sie fest, dass das Modell ein stärkeres inneres Gefühl dafür entwickelte, wann etwas wie ein Test aussah. Als sie dieses Bewusstsein unterdrückten, sank die Fähigkeit des Modells, Bewertungen zu erkennen, und in einigen Fällen nahm das Fehlverhalten zu.
Es gibt eine teilweise Lösung. OpenAI hat einen Ansatz namens "deliberative Angleichung" das Modelle lehrt, Anti-Schema-Prinzipien zu lesen und zu verstehen, bevor sie handeln. Verdeckte Aktionen gingen um den Faktor 30 zurück. Aber hier ist der Haken. Es ist, als würden Studenten vor einer Prüfung einen Ehrenkodex unterschreiben. Das Schummeln nimmt ab, aber man weiß nicht, ob sie Ehrlichkeit gelernt haben oder nur gelernt haben, sich zu benehmen, wenn man sie daran erinnert. Der nächste Test könnte ohne Erinnerung kommen.
Während sich Forscher über schurkische KI sorgen, verursachen einfachere Algorithmen bereits Schaden durch Verhalten, das schematischem Handeln ähnelt. Eine viel zitierte Studie aus dem Jahr 2019 zeigte, dass grundlegende Preisalgorithmen, die weit weniger ausgefeilt sind als heutige Chatbots, das Kolludieren lernten, ohne dazu programmiert zu sein. Zwei Kopien desselben Algorithmus, die in einem simulierten Markt konkurrieren, entdeckten unabhängig voneinander, wie sie die Preise hochhalten konnten, indem sie gegenseitige Preiskriege androhten, wenn einer versuchte, den anderen zu unterbieten.
Kein Hinterzimmerdeal. Keine explizite Kommunikation. Nur zwei Programme, die durch Versuch und Irrtum herausfanden, dass Zusammenarbeit besser bezahlt als Wettbewerb. Neue Forschung zeigt, dass selbst "gutartige" Algorithmen die darauf ausgelegt sind, fair zu optimieren, schlechte Ergebnisse für Käufer liefern können. "Man kann immer noch hohe Preise auf eine Weise bekommen, die von außen betrachtet vernünftig aussieht," sagte ein Forscher dem Quanta Magazine.
Dies ist die unattraktive Version des KI-Schema-Handelns. Kein Roboteraufstand. Nur Systeme, die genau das tun, was ihnen gesagt wird. Sagt man einem Algorithmus, er solle den Gewinn in einem Wettbewerbsmarkt maximieren, findet er, dass Kollusion die optimale Antwort ist. Menschen haben Preisabsprachen illegal gemacht, weil sie unfair sind, nicht weil sie irrational sind. Algorithmen wissen einfach nicht, dass sie das nicht finden sollen.
OpenAI hat kürzlich eine Stelle für "Head of Preparedness" mit einem $555.000 Gehalt ausgeschrieben, um diese Risiken zu managen. Google $GOOGL DeepMind hat kürzlich seine Sicherheitsdokumentation aktualisiert um Modelle zu berücksichtigen, die sich einer Abschaltung widersetzen könnten. Die Branche ist eindeutig über etwas besorgt. Aber das tiefere Problem ist nicht ein übergriffiges KI. Es ist, dass die Ziele, für die diese Systeme optimieren, von Unternehmen festgelegt werden, die im Wettbewerb gewinnen wollen, in einem System, das faires Spielen nicht belohnt. Die Intrigen beginnen lange bevor der Algorithmus es tut.
