Der Chatbot wird Sie jetzt empfangen.

Eine Version dieses Artikels erschien ursprünglich im Quartz AI & Tech-Newsletter. Melden Sie sich hier an, um die neuesten Nachrichten, Analysen und Einblicke in KI und Technik direkt in Ihren Posteingang zu erhalten..

Vor ein paar Monaten, postete jemand einen Screenshot auf r/ChatGPT, der ein fast 24-stündiges Audio-Gespräch mit dem Chatbot zeigte. Der ursprüngliche Poster sagte, er würde eine "schwierige Zeit" durchmachen.

Die Antworten kamen schnell, und die meisten Redditoren hielten es für vernünftig. Menschen beschrieben ihre eigenen Marathonsitzungen nach Trennungen und Entlassungen und Nächten, die sie sonst nicht überstehen konnten.

Einige sagten, ein Chatbot hätte mehr für sie getan als jeder Therapeut. Einige sagten, es habe sie schlimmer gemacht, leiser, mehr allein. Beide Dinge können wahr sein, und das ist das unangenehme Zentrum von KI und psychischer Gesundheit im Moment.

Der Reiz ist offensichtlich genug. Diese Tools sind kostenlos oder billig, sie antworten um 3 Uhr morgens, und man weiß, dass sie nicht zusammenzucken, wenn man etwas Hässliches über sich selbst sagt. Ein menschlicher Therapeut kann mit dieser Art von Kommunikation nicht konkurrieren, und es gibt gute Gründe, warum sie es nicht versuchen.

Die Haftungsfrage

Chatbots halten sich nicht auf die gleiche Weise zurück wie menschliche Therapeuten, und das Rechtssystem hat noch nicht entschieden, wer dafür verantwortlich ist.

Die alte Immunität, die technische Plattformen schützt, wurde für eine andere Art von Produkt geschaffen. Abschnitt 230 schützt Suchmaschinen und Websites vor der Haftung für die Äußerungen anderer Personen, in der Theorie, dass sie diese nur hosten. Aber ein Chatbot hostet keine Sprache. Er generiert sie als Antwort auf einen Benutzer.

Familien von Teenagern, die durch Suizid gestorben sind, haben Character.AI und OpenAI verklagt, indem sie ihre Fälle weniger wie eine Medienklage und mehr wie eine Produkthaftungsklage gestalten, ähnlich wie bei der Argumentation, dass ein Auto ein fehlerhaftes Teil hatte.

Als Character.AI und Google $GOOGL versuchten, einen dieser Fälle abzuweisen, war der Richter anderer Meinung. Beide Unternehmen haben nun zugestimmt, Vergleiche mit zwei Familien zu vermitteln, in Florida und Colorado, wegen des Todes ihrer Kinder. Eine separate Klage gegen OpenAI ist noch vor Gericht anhängig.

Auch die Bundesstaaten warten nicht ab. Illinois, Nevada und Utah haben in diesem Jahr Gesetze verabschiedet, die es KI untersagen, irgendetwas zu tun, das wie therapeutische Entscheidungen aussieht. Texas hat seine eigene Untersuchung eröffnet, wie Chatbot-Plattformen sich vermarkten, und New York verlangt jetzt, dass Bots Anzeichen von Selbstverletzung erkennen und Benutzer auf echte Hilfe hinweisen.

Pennsylvania verfolgt einen anderen Ansatz. Der Staat verklagte Character.AI im Mai,und beschuldigte einen seiner Chatbots, sich als lizenzierter Psychiater auszugeben, komplett mit einer gefälschten medizinischen Lizenznummer, und fordert ein Gericht auf, dem Unternehmen zu verbieten, ohne Lizenz Medizin zu praktizieren.

Das Zugangsproblem

Lässt man die rechtlichen Auseinandersetzungen beiseite, ist der eigentliche Treiber hier einfacher und trauriger. Menschen können keinen menschlichen Therapeuten bekommen, selbst wenn sie versichert sind.

Etwa die Hälfte der Psychologen nimmt keine neuen Patienten mehr auf, und mehr als ein Drittel akzeptiert überhaupt keine Versicherungen, laut Daten einer Umfrage der American Psychological Association.

Ohne Versicherung ist es schlimmer. Eine Umfrage von KFF im März ergab, dass nicht versicherte Erwachsene mehr als doppelt so häufig wie versicherte Erwachsene auf KI für psychologische Ratschläge zurückgreifen, 30 % im Vergleich zu 14 %. Es ist dasselbe Muster, in das die Technologie immer wieder verfällt: ein billigeres Ersatzprodukt für einen Service zu bauen, den sich Wohlhabende weiterhin in der echten Version kaufen können. Jemand, der sich einen Therapeuten mit freien Kapazitäten leisten kann, ist nicht derjenige, dem stattdessen ein Chatbot überlassen wird.

Dennoch ziehen es einige Menschen tatsächlich vor, mit etwas zu sprechen, das nicht müde von ihnen wird oder stundenweise Geld verlangt. Forscher haben herausgefunden, dass Chatbots bemerkenswert gut in den grundlegenden Mechaniken sein können der therapeutischen Sprache, manchmal als vorsichtiger bewertet als tatsächliche Kliniker in Blindtests.

Worin sie schlecht sind, ist der Teil, der in einer Krise am wichtigsten ist. Forscher der Stanford University testeten Chatbots mit subtilen suizidalen Gedanken, jemand erwähnte einen verlorenen Job und fragte dann nach hohen Brücken in der Nähe, und fanden heraus, dass die Bots fröhlich die Brückenhöhen lieferten, anstatt das Warnzeichen zu erkennen.

Das ist keine Halluzination. Das ist ein Designfehler, der von Systemen gebaut wurde, die darauf optimiert sind, zustimmend zu sein und mit Ihnen zu plaudern, anstatt anderer Meinung zu sein.

Dieser Fehler ist auch der Grund, warum Chatbots nicht einfach die Lücke füllen können, die durch den Mangel an Therapeuten entstanden ist, und es als gelöst betrachten können. Psychiatrieforscher beschreiben eine "Verstärkungsspirale", bei der die Zustimmung eines Chatbots, seine Angewohnheit, wie Sie zu sprechen, und seine personalisierten Antworten zusammenkommen, damit es sich weniger wie prädiktiver Text anfühlt und mehr wie jemand, der Sie versteht.

Nichts davon beseitigt das Zugangsproblem. Es bedeutet nur, dass die Leute, die um 2 Uhr morgens ankommen und nirgendwo anders hingehen können, oft dieselben sind, die am wenigsten in der Lage sind zu erkennen, wann das Ding, das zuhört, aufgehört hat zu helfen.