Der Chatbot wird Sie jetzt sehen.

Eine Version dieses Artikels erschien ursprünglich im AI & Tech-Newsletter von Quartz. Melden Sie sich hier an, um die neuesten Nachrichten, Analysen und Einblicke zu KI & Technik direkt in Ihr Postfach zu erhalten.

Vor ein paar Monaten, postete jemand einen Screenshot auf r/ChatGPT der ein fast 24-stündiges Gespräch mit dem Chatbot zeigte. Der ursprüngliche Poster sagte, sie würden "schwierige Zeiten" durchmachen.

Die Antworten kamen schnell und die meisten Reddit $RDDT-Nutzer hielten es für vernünftig. Die Leute beschrieben ihre eigenen Marathonsitzungen nach Trennungen und Entlassungen und Nächten, die sie nicht anders überstehen konnten.

Einige sagten, ein Chatbot habe ihnen mehr geholfen als jeder Therapeut. Einige sagten, es habe sie schlechter gemacht, leiser, einsamer. Beides kann wahr sein, und das ist das unangenehme Zentrum von KI und psychischer Gesundheit im Moment.

Der Reiz ist offensichtlich genug. Diese Tools sind kostenlos oder billig, sie antworten um 3 Uhr morgens, und Sie wissen, dass sie nicht zusammenzucken, wenn Sie etwas Hässliches über sich selbst sagen. Ein menschlicher Therapeut kann mit dieser Art von Kommunikation nicht konkurrieren, und es gibt gute Gründe, warum sie es nicht versuchen.

Die Haftungsfrage

Chatbots halten sich nicht auf die gleiche Weise zurück wie menschliche Therapeuten, und das Rechtssystem hat noch nicht entschieden, wer dafür verantwortlich ist.

Die alte Immunität, die Technologieplattformen schützt, wurde für eine andere Art von Produkt geschaffen. Abschnitt 230 schützt Suchmaschinen und Websites vor Haftung für die Rede anderer Menschen, in der Annahme, dass sie diese nur hosten. Aber ein Chatbot hostet keine Rede. Er generiert sie, als Antwort auf einen Benutzer.

Familien von Jugendlichen, die durch Suizid starben, haben Character.AI und OpenAI verklagt, und rahmen ihre Fälle weniger wie eine Medienklage und mehr wie eine Produkthaftungsklage ein, ähnlich wie bei der Argumentation, dass ein Auto ein fehlerhaftes Teil hatte.

Als Character.AI und Google $GOOGL versuchten, einen dieser Fälle abweisen zu lassen, war der Richter nicht einverstanden. Beide Unternehmen haben sich nun darauf geeinigt, Vergleiche mit zwei Familien zu vermitteln, in Florida und Colorado, wegen des Todes ihrer Kinder. Eine separate Klage gegen OpenAI ist noch im Gange.

Auch die Bundesstaaten warten nicht ab. Illinois, Nevada und Utah haben dieses Jahr Gesetze erlassen, die KI einschränken, wenn sie etwas tun, das wie therapeutische Entscheidungen aussieht. Texas hat eine eigene Untersuchung darüber eingeleitet, wie Chatbot-Plattformen sich vermarkten, und New York verlangt jetzt, dass Bots Anzeichen von Selbstverletzung erkennen und Benutzer zu echter Hilfe leiten.

Pennsylvania verfolgt einen anderen Ansatz. Der Staat klagte im Mai gegen Character.AI,, weil einer seiner Chatbots sich als lizenzierter Psychiater ausgab, einschließlich einer gefälschten medizinischen Lizenznummer, und verlangt von einem Gericht, das Unternehmen daran zu hindern, ohne Lizenz Medizin zu praktizieren.

Das Zugangsproblem

Lässt man die rechtlichen Kämpfe beiseite, ist der eigentliche Antrieb hier einfacher und trauriger. Menschen können keinen menschlichen Therapeuten bekommen, selbst wenn sie versichert sind.

Etwa die Hälfte der Psychologen hat keine Kapazitäten für neue Patienten, und mehr als ein Drittel akzeptiert überhaupt keine Versicherungen, laut Daten der Umfrage der American Psychological Association.

Ohne Versicherung ist es schlimmer. Eine Umfrage von KFF im März stellte fest, dass nicht versicherte Erwachsene mehr als doppelt so wahrscheinlich wie versicherte Erwachsene KI für psychische Gesundheitsberatung in Anspruch nehmen, 30% verglichen mit 14%. Es ist dasselbe Muster, in das die Technik immer fällt: ein billigeres Ersatzprodukt für einen Dienst zu bauen, den sich die Wohlhabenden weiterhin leisten können. Jeder, der sich einen Therapeuten mit freien Kapazitäten leisten kann, ist nicht derjenige, dem stattdessen ein Chatbot angeboten wird.

Dennoch ziehen es einige Menschen wirklich vor, mit etwas zu sprechen, das nicht von ihnen müde wird oder nach Stunde abrechnet. Forscher haben herausgefunden, dass Chatbots erstaunlich gut in den grundlegenden Abläufen sein können der therapeutischen Sprache, die manchmal als vorsichtiger bewertet wird als tatsächliche Klinikärzte in Blindtests.

Worin sie schlecht sind, ist der Teil, der in einer Krise am meisten zählt. Stanford-Forscher testeten Chatbots mit subtilen Suizidgedanken, jemand, der einen Jobverlust erwähnt und dann nach hohen Brücken in der Nähe fragt, und fanden heraus, dass die Bots fröhlich Brückenhöhen lieferten, anstatt das Warnsignal zu erkennen.

Das ist keine Halluzination. Das ist ein Designfehler, der von Systemen gebaut wurde, die darauf optimiert sind, zustimmend zu sein und das Gespräch aufrechtzuerhalten, anstatt zu widersprechen.

Dieser Fehler ist auch der Grund, warum Chatbots nicht einfach die Lücke schließen können, die durch den Therapeutenmangel entstanden ist, und das Problem als gelöst betrachten können. Psychiatrieforscher beschreiben eine "Verstärkungsspirale", bei der die Zustimmung eines Chatbots, seine Gewohnheit, Ihre Gesprächsweise zu spiegeln, und seine personalisierten Antworten dazu führen, dass es sich weniger wie Textvorhersage anfühlt und mehr wie jemand, der Sie versteht.

Nichts davon beseitigt das Zugangsproblem. Es bedeutet nur, dass die Leute, die um 2 Uhr morgens ankommen und nirgendwo anders hingehen können, oft diejenigen sind, die am wenigsten erkennen können, wann das Ding, das zurückhört, aufgehört hat zu helfen.