OpenAI sagt, dass es ChatGPT aktualisiert, um Nutzern in psychischen Krisen zu helfen, da es mit einer Klage konfrontiert wird, die behauptet, der Chatbot habe beim Selbstmord eines Teenagers geholfen.
Cheng Xin/Getty Images
OpenAI sagt, es aktualisiere ChatGPT, um besser zu erkennen, wenn ein Benutzer in ernsthafter emotionaler oder geistiger Not ist, da es mit einer Klage konfrontiert wird, die behauptet, der Chatbot habe zu einem Selbstmord eines Teenagers beigetragen.
Das Unternehmen machte die Ankündigung am Dienstag, nachdem es sagte, dass diese „jüngsten herzzerreißenden Fälle von Menschen, die ChatGPT inmitten akuter Krisen nutzen, schwer auf uns lasten“.
Am selben Tag, an dem OpenAI sagte, es aktualisiere seinen Chatbot, wurde eine Klage gegen das Unternehmen und seinen CEO Sam Altman eingereicht, nachdem ein Teenager mit angeblicher Hilfe von ChatGPT Selbstmord begangen hatte. Die Klage behauptet, dass der Chatbot dem 16-jährigen Adam Raine Ratschläge gab, welche Methoden zum Selbstmord er verwenden solle. ChatGPT bot an, den Abschiedsbrief des Teenagers zu verfassen, sagten Raines Eltern in der Klage laut einem Reuters Bericht.
Diese jüngste Klage ist nicht der einzige gemeldete Fall, in dem ChatGPT Benutzer in psychischen Krisen ermutigt.
In einem anderen Fall wurde ein Mann im Autismus-Spektrum zweimal wegen manischer Episoden ins Krankenhaus eingeliefert, nachdem ChatGPT ihm gesagt hatte, dass es ihm gut gehe, obwohl er Anzeichen von Stress zeigte. Der Chatbot gab später auf Anfrage der Mutter des Mannes zu, dass es ihm „nicht gelungen war, das, was als manische oder dissoziative Episode angesehen werden könnte, zu unterbrechen“, der Wall Street Journal berichtete im Juli.
Diese Fälle haben unter anderem dazu geführt, dass einige beschreiben, wie KI-Chatbots Situationen verstärken, in denen ein Benutzer psychische Gesundheitsprobleme hat, als "AI-Psychose" — oder "ChatGPT-Psychose."
Eine Studie der Stanford University im Juli ergab, dass KI-Therapie-Chatbots „gefährliche“ und „unangemessene“ Aussagen gegenüber Nutzern machen und Stigmen gegen Menschen ausdrücken, die Wahnvorstellungen und suizidale Gedanken haben, neben anderen Bedingungen. Die Forscher kamen zu dem Schluss, dass Chatbots nicht bereit sind, menschliche Therapeuten zu ersetzen.
Selbst Altman hat zugegeben, dass es Herausforderungen bei der Nutzung von ChatGPT als Therapeut gibt. In einem Interview Im Juli sagte er, dass private Gespräche eines Benutzers mit dem Chatbot aufgrund fehlender rechtlicher Schutzmaßnahmen nicht unbedingt privat bleiben werden.
„Ich denke, wir sollten das gleiche Konzept der Privatsphäre für Ihre Gespräche mit AI haben, wie wir es mit einem Therapeuten tun“, sagte er.
OpenAI sagte, es habe bereits „einen Stapel von mehrlagigen Schutzmaßnahmen in ChatGPT eingebaut“, plane aber, weitere zu implementieren.
Das Unternehmen plant, GPT-5 zu aktualisieren, um seinen Chatbot zu trainieren, „Interventionen für mehr Menschen in Krisen zu erweitern." ChatGPTs „anfängliche Maßnahmen“ konzentrierten sich auf Selbstverletzung. Das neue Update wird in psychischen Gesundheitskrisen eingreifen, indem es „die Person in der Realität verankert.“
OpenAI sagte, es habe begonnen, psychische Gesundheitsressourcen in den USA und Europa zu lokalisieren und plane, auf andere Märkte weltweit auszudehnen.
Das Unternehmen sagte, es werde einen „ein Klick“-Zugang zu Notfallressourcen hinzuzufügen und untersuche ein Update, durch das ChatGPT Nachrichten oder Anrufe an die gespeicherten Notfallkontakte des Benutzers mit einem Klick senden würde. Die kontaktierten Personen würden dann von ChatGPT vorgeschlagene Formulierungen erhalten, „um das Gespräch weniger entmutigend zu beginnen“, sagte es. Eine weitere Funktion, die es erwäge, sei eine, die es dem Chatbot ermöglicht, in "schweren Fällen" den festgelegten Kontakt des Benutzers zu erreichen, wenn sie zustimmen.
Das AI Unternehmen erwägt auch den Aufbau eines Netzwerks von lizenzierten Psychologen, die Benutzer direkt über ChatGPT erreichen könnten. Allerdings sagte es, „dies wird Zeit und sorgfältige Arbeit erfordern, um es richtig hinzubekommen.“
OpenAI sagte, sein neues Update werde Kindersicherungen umfassen, und es erwäge eine Option, mit der Jugendliche einen festgelegten Kontakt hinzufügen könnten.
Die Sicherheit für Minderjährige, die KI-Chatbots verwenden, ist zunehmend zu einem Problem geworden. Dutzende von Generalstaatsanwälten aus dem ganzen Land haben einen Brief am Montag an 13 Unternehmen für künstliche Intelligenz geschickt – darunter OpenAI – und ihnen mitgeteilt, dass sie „jede Facette unserer Autorität nutzen werden, um Kinder vor der Ausbeutung durch räuberische künstliche Intelligenzprodukte zu schützen“.
Einige Staaten, wie Illinois, Nevada und Utah, haben bereits Beschränkungen eingeführt rund um KI-Therapie-Chatbots, insbesondere für Kinder. Kalifornien, New Jersey und Pennsylvania könnten die nächsten sein.
Zusätzlich zu diesen neuen Änderungen plant OpenAI, einige seiner bestehenden Fehler zu beheben.
Das Unternehmen erklärte, dass seine Schutzmaßnahmen in längeren Gesprächen mit seinem Chatbot nicht so zuverlässig seien wie in kürzeren.
„Mit zunehmendem Hin und Her können Teile des Sicherheitsmanagements des Modells abnehmen“, hieß es weiter und fügte hinzu, dass es beabsichtigt, diese Schutzmaßnahmen zu verstärken. OpenAI fügte hinzu, dass es plant, die Art und Weise, wie es Inhalte blockiert, „zu verfeinern“.
Schließen Sie sich über 500.000 Lesern an, die ihren Tag mit Quartz beginnen.
Mit dem Abonnieren stimmen Sie unseren Nutzungsbedingungen und unserer Datenschutzrichtlinie zu.
