Der CEO von Anthropic hat eine eindringliche Warnung bezüglich KI.

In einem weitläufigen, 38-seitigen Essay, „Die Jugend der Technologie: Konfrontation und Überwindung der Risiken leistungsstarker KI“, der am Montag veröffentlicht wurde, legt der CEO von Anthropic eine Karte des zivilisatorischen Risikos dar – Bioterrorismus, Autokratie, Arbeitsaufstände und weitere Vermögenskonzentration. Er kommt zu der unbequemen These, dass der KI-Preis so glänzend ist (und sein strategischer Wert so offensichtlich), dass niemand innerhalb des Rennens vertrauenswürdig ist, es zu verlangsamen, selbst wenn die Risiken enorm sind.

„Ich glaube, wir betreten ein Übergangsritual, sowohl turbulent als auch unvermeidlich, das testen wird, wer wir als Spezies sind“, schrieb er. „Die Menschheit bekommt fast unvorstellbare Macht in die Hand, und es ist völlig unklar, ob unsere sozialen, politischen und technologischen Systeme die Reife besitzen, sie zu nutzen.“

Der Essay liest sich wie eine Bedrohungsanalyse, die durch eine einzige Metapher gerahmt ist, zu der Amodei immer wieder obsessiv zurückkehrt: ein „Land der Genies in einem Rechenzentrum“. (Genau 12 Mal erscheint sie im Text.) Stellen Sie sich Millionen von KI-Systemen vor, die klüger sind als Nobelpreisträger, mit Maschinengeschwindigkeit arbeiten, einwandfrei koordiniert und zunehmend in der Lage sind, in der Welt zu agieren. Die Gefahr, so argumentiert Amodei, besteht darin, dass die Konzentration von Fähigkeiten ein strategisches Problem schafft, bevor sie ein moralisches schafft. Macht skaliert schneller als Institutionen.

Aber Amodeis Essay liest sich auch wie eine Positionsbestimmung. Wenn der CEO eines Frontier-Labors schreibt, dass die „Falle“ die Billionen von KI-Dollar sind, die auf dem Spiel stehen, beschreibt er genau den Goldrausch, den er mit anführt, während er Anthropic als das einzige Geschäft darstellt, das lautstark Sorgen äußert – ein milliardenschwerer CEO, der die Gesellschaft anfleht, Beschränkungen für eine Technologie zu verhängen, die sein Unternehmen im Eiltempo verkauft.

Auch wenn das Argument aufrichtig sein mag, ist das Timing auf Marketing-Niveau; am selben Tag, an dem Amodeis Essay veröffentlicht wurde, Claude, Anthropics Chatbot, hat ein MCP-Erweiterungsupdate erhalten.

Die Risiken, die er katalogisiert, fallen in fünf Kategorien. Erstens Autonomie. Zweitens, Missbrauch durch Einzelpersonen – insbesondere in der Biologie. Drittens, Missbrauch durch Staaten, insbesondere autoritäre. Viertens, wirtschaftliche Störungen. Und schließlich indirekte Effekte – kulturelle, psychologische und soziale Veränderungen, die schneller eintreten, als Normen entstehen können. Durch all das zieht sich die Realität, dass niemand – oder kein Unternehmen – in der Lage ist, sich selbst zu überwachen. KI-Unternehmen sind in einem kommerziellen Wettlauf gefangen. Regierungen sind versucht durch Wachstum, militärische Vorteile oder beides. Und die üblichen Entlastungsventile – freiwillige Standards, Unternehmensethik, öffentlich-private Vertrauensverhältnisse – sind zu fragil, um diese Last zu tragen.

Er argumentiert, dass mächtige KI „schon in 1–2 Jahren verfügbar sein könnte“ und sagt, eine ernsthafte Unterrichtung könnte es „die ernsthafteste nationale Sicherheitsbedrohung, der wir in einem Jahrhundert, möglicherweise jemals, gegenüberstanden“ nennen. frühere Warnungen wiederholend.

Amodei glaubt, dass mächtige KI außergewöhnliche Fortschritte in Wissenschaft, Medizin und Wohlstand bringen kann. Er glaubt auch, dass dieselben Systeme Zerstörung verstärken, Autoritarismus festigen und Arbeitsmärkte zerstören können, wenn die Governance versagt. Das Rennen geht unabhängig davon weiter.

Seine vorgeschlagenen Lösungen sind unspektakulär: Transparenzgesetze. Exportkontrollen für Chips. Verpflichtende Offenlegungen über das Modellverhalten. Inkrementelle Regulierung, die darauf ausgelegt ist, Zeit zu gewinnen, anstatt den Fortschritt zu stoppen. „Wir sollten Chips absolut nicht an die KPCh verkaufen“, schreibt er. Er nennt Kaliforniens SB 53 und New Yorks RAISE Act als frühe Vorlagen und warnt, dass schlampige Übergriffe Rückschläge und „Sicherheitstheater“ einladen. Er argumentiert wiederholt für Zurückhaltung, die eng, evidenzbasiert und langweilig ist – das Gegenteil der umfassenden Verbote oder großen Abkommen, die die KI-Diskussionen dominieren.

Amodei könnte dafür Anerkennung wollen, dass er das Unausgesprochene laut sagt, dass die Anreizstruktur für KI Erwachsene selten und Beschleuniger zahlreich macht. Dennoch baut er weiterhin das „Land der Genies in einem Rechenzentrum“ und fordert die Welt auf, zu glauben, dass sein Laden sowohl den Motor verkaufen als auch das Tempolimit einhalten kann — bevor es zu einem möglichen Unfall kommt.

Er nennt dies „die Falle“, und er hat Recht. Er steht auch darin, um Einnahmen zu sammeln.