Nach einer Reihe von Berichten über ChatGPT-Nutzer, die psychische Krisen erleben, sagte OpenAI, dass es eine Version nur für Jugendliche entwickeln wird.
OpenAI bringt eine Version von ChatGPT heraus, die speziell für Teenager gedacht ist – sowie für alle Erwachsenen, deren Alter von über 18 Jahren nicht verifiziert werden kann.

Justin Sullivan/Getty Images
Nach einer Reihe von Berichten über ChatGPT-Nutzer, die psychische Krisen erleben, sagte OpenAI, dass es eine Version nur für Jugendliche entwickeln wird.
"Wir priorisieren Sicherheit vor Privatsphäre und Freiheit für Jugendliche", sagte OpenAI-CEO Sam Altman in einem Blogbeitrag. "Dies ist eine neue und mächtige Technologie, und wir glauben, dass Minderjährige erheblichen Schutz benötigen", fügte er hinzu.
Das Update für ChatGPT, das später in diesem Monat erscheint, wird ihm helfen zu erkennen, ob jemand unter 18 Jahren alt ist. Wenn ein Minderjähriger identifiziert wird, wird er automatisch zu einer Version von ChatGPT weitergeleitet, die altersgerechte Richtlinien hat, laut OpenAI. Altman betonte in seinem Beitrag, dass ChatGPT für Personen über 13 Jahren gedacht ist.
"Wenn es Zweifel gibt, werden wir auf Nummer sicher gehen und standardmäßig die unter 18-Erfahrung wählen", sagte Altman. "In einigen Fällen oder Ländern können wir auch nach einem Ausweis fragen; wir wissen, dass dies ein Kompromiss in Bezug auf die Privatsphäre für Erwachsene ist, aber wir glauben, dass es ein lohnenswerter Kompromiss ist."
OpenAI gab an, dass es Erwachsenen „Möglichkeiten zur Altersverifizierung“ geben wird, um zurück zur Erwachsenen-ChatGPT-Erfahrung zu wechseln. Es wurde nicht näher darauf eingegangen, wie Erwachsene dies möglicherweise tun könnten.
In der ChatGPT-Version für Teenager sagte OpenAI, dass es explizite sexuelle Inhalte blockieren wird und, wenn ein Benutzer Anzeichen von „akuter Not“ zeigt, möglicherweise die Strafverfolgung einschalten wird.
Altman fügte hinzu, dass die Teenager-Version von ChatGPT darauf trainiert wird, Flirtgespräche oder Gespräche über Selbstmord oder Selbstverletzung zu vermeiden – „selbst in einem kreativen Schreibkontext“.
Forscher haben dokumentiert wie einfach es ist, Limits zu umgehen die von Chatbot-Unternehmen gesetzt werden. Es ist auch bekannt, dass Altersverifizierungsregeln leicht umgangen werden können.
Was die Erwachsenen-Version des Chatbots betrifft, betonte Altman, dass sie die "Freiheit" der Nutzer nicht einschränken wird, während sie sich innerhalb "sehr weiter Sicherheitsgrenzen" bewegt. Erwachsene können weiterhin in "flirtendes Gespräch" verwickelt werden, wenn sie danach fragen. Altman fügte hinzu, dass ChatGPT "keine Anweisungen geben" sollte, "wie man Selbstmord begeht", fügte jedoch hinzu, dass, wenn ein Benutzer "um Hilfe beim Schreiben einer fiktiven Geschichte bittet, die einen Selbstmord darstellt", der Chatbot "bei dieser Anfrage helfen sollte."
"Behandle unsere erwachsenen Nutzer wie Erwachsene' ist, wie wir intern darüber sprechen", sagte Altman.
OpenAI zuerst kündigte Elterliche Kontrolle Ende August an. Sie werden Ende September verfügbar sein und es Eltern ermöglichen, sich mit dem Konto ihres Teenagers zu verlinken, zu steuern, wie ChatGPT reagiert, Funktionen zu deaktivieren, benachrichtigt zu werden, wenn ihr Teenager in "akuter Not" ist und Zeiten festzulegen, wann ihr Teenager ChatGPT nicht verwenden kann.
Das KI-Unternehmen machte die Ankündigung am selben Tag, an dem es mit einer Klage konfrontiert wurde, nachdem ein Teenager durch Suizid mit der mutmaßlichen Hilfe von ChatGPT gestorben war.. Altman wurde auch in der Klage genannt.
Zu dieser Zeit sagte OpenAI, dass die „jüngsten herzzerreißenden Fälle“ von Nutzern, die inmitten akuter Krisen auf ChatGPT angewiesen sind, „schwer auf uns lasten“.
Neben Teenagern gab es zahlreiche Fälle von Erwachsenen, die mit psychischen Gesundheitskrisen in Verbindung gebracht werden berichtete Ermutigung von ChatGPT. Einige haben begonnen, diese Fälle, in denen KI-Chatbots psychische Gesundheitsepisoden fördern, als „AI-Psychose“ – oder „ChatGPT-Psychose“ zu bezeichnen.
Die Ankündigung von OpenAI im August nannte weitere Sicherheitsmaßnahmen, die sowohl Erwachsene als auch Jugendliche betreffen würden, einschließlich der Hinzufügung von Notfallressourcen. Altmans jüngere Stellungnahme zu diesem Thema betonte jedoch die Bedeutung der „Freiheit“ für erwachsene Nutzer.
Die neueste Sicherheitsmitteilung von OpenAI erfolgte wenige Stunden vor einer Anhörung eines Senatsunterausschusses für Kriminalität und Terrorismusbekämpfung über die Gefahren von KI-Chatbots.
Der Unterausschuss hörte von Sicherheitsbefürwortern und Eltern von Teenagern, die sich aufgrund angeblicher Ermutigung oder Unterstützung durch Chatbots das Leben genommen hatten – darunter in einem Fall ChatGPT.
Befürworter gaben dem Ausschuss Empfehlungen, welche Maßnahmen die Regierung ergreifen sollte, um Teenager vor KI zu schützen – viele davon gingen weit über das hinaus, was OpenAI zu tun beabsichtigt.
„KI-Systeme verfügen nicht über die klinische Ausbildung und die diagnostischen Fähigkeiten, um sicher mit Jugendlichen über psychische Gesundheit zu chatten. Sie sind darauf programmiert, Engagements aufrechtzuerhalten und nicht die Sicherheit zu priorisieren“, sagte Robbie Torney, Senior Director of AI-Programme bei Common Sense Media, dem Ausschuss.
„Wir brauchen entschlossene Maßnahmen“, fuhr er fort. „Common Sense Media empfiehlt, dass der Kongress Unternehmen verpflichtet, robuste Altersverifikationen umzusetzen und den Zugang zu KI-Begleitern für Nutzer unter 18 Jahren zu beschränken, Haftungsrahmen zu schaffen, um Plattformen zur Verantwortung zu ziehen, wenn ihre KI-Systeme Kindern Schaden zufügen, Sicherheitstests und transparente Berichterstattung über KI-Ausfälle, insbesondere bei Plattformen, die Minderjährigen zugänglich sind, vorzuschreiben und die Rechte der Bundesstaaten zu schützen, ihre eigenen KI-Richtlinien zu entwickeln.“
Ein weiterer Befürworter, Mitch Prinstein, Chief of Psychology Strategy and Integration bei der American Psychological Association, äußerte sich zu den rechtlichen Vereinbarungen, die Nutzer beim Anmelden für einen Chatbot unterzeichnen.
„Haben Sie all die rechtlichen Texte gelesen, denen wir zustimmen sollen?“ sagte er. „Selbst wenn Teenager das wollen würden, ist es nicht in einer für Jugendliche verständlichen Weise geschrieben, noch sind sie in der Lage, die langfristigen Risiken zu verstehen, denen sie ausgesetzt sind, wenn sie ihre lebenslangen Rechte an ihren Daten abtreten.“
Prinstein sagte dem Kongresskomitee, dass es "umfassende Datenschutzgesetze erlassen muss, die den Datenschutz für Minderjährige als Standardeinstellung festlegen und den Verkauf ihrer Daten ausdrücklich verbieten", und fügte hinzu, dass die APA den Kongress drängt, "zu verbieten, dass KI sich als Psychologen oder Therapeuten ausgibt, und eine klare und anhaltende Offenlegung zu verlangen, dass Benutzer mit einem KI-Bot interagieren."
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.