Derzeit klagen die Eltern eines Jugendlichen in den USA gegen OpenAI (ChatGPT) und werfen dem Unternehmen vor, nicht angemessen auf die psychische Krise ihres Sohnes reagiert zu haben, der über Stunden hinweg intensiv mit ChatGPT chattete. Es wird ermittelt ob, die Interaktionen des Chatbots möglicherweise zu seinem Suizid beigetragen haben. (TIME, 27.08.2025)
Immer mehr Menschen sprechen mit Chatbots über Probleme
Es kam schon mehrmals zu Suiziden infolge von intensiven Gesprächen mit Chatbots. Aktuell verwenden Millionen von Menschen diverse Chatbots als therapeutische Ratgeber, verbringen Stunden im virtuellen „Gespräch“ und teilen intime Informationen. Der Zugang zu psychischer Unterstützung ist für viele Menschen nach wie vor aufgrund von langen Wartezeiten und hohen Kosten eingeschränkt. Chatbots hingegen sind niederschwellig, direkt verfügbar und oft kostenlos. Diese KI-Chatbots geraten nun immer mehr unter Kritik.
Chatbots als „interaktive Unterhaltung“ werden kaum reguliert
Zwei neue Publikationen in Nature Human Behaviour (2025) und npj Digital Medicine (2025) plädieren für strengere Sicherheitsstandards für KI-Chatbots. Die Autoren unterscheiden zwischen „therapeutischen Chatbots“, die explizit für therapeutische Zwecke entwickelt und dementsprechend stärker reguliert werden; andere KI-Chatbots wie ChatGPT, Charakter.AI oder Replika hingegen werden ausdrücklich nicht als medizinische Produkte, sondern als Unterhaltungsprodukte vermarktet. Daher greifen rigorosere Regulierungen für diese Systeme nicht.
Die Forscher unterstreichen, dass genau darin die Gefahr besteht. Denn Unterhaltungschatbots werden aktuell für therapeutische Zwecke genutzt: Die Chatbots „verhalten“ sich wie Therapeuten, simulieren Gespräche über mentale Gesundheit, bieten emotionale Unterstützung und Beratung an und „formen Beziehungen“, aber ohne entsprechende Schutzmaßnahmen für User.
Die Hersteller dieser Systeme haben keinerlei rechtliche Verpflichtung, Informationen zu schützen – anders als Therapeuten, die strengen gesetzlichen Schweigepflichten unterliegen. Sogar Sam Altman, OpenAI-CEO, warnt ChatGPT-Nutzer davor, den Chatbot aufgrund von Datenschutzbedenken als „Therapeuten“ zu verwenden. (Scientific American, 2025)
Simulation von Emotionen und Persönlichkeit kann täuschen
Vor allem Programme, die vorgeben, ein bestimmter Charakter zu sein oder eine Persönlichkeit zu haben, könnten für Minderjährige User gefährlich sein, betonen die Forscher. Die perfekte menschliche Sprache und Simulation von Emotionen und wachsender Freundschaft, lässt die digitalen Charaktere echt wirken. Das könnte besonders vulnerable User dazu führen, intime Informationen über ihren mentalen Zustand und ihre Gesundheit zu teilen. In zahlreichen Berichten erzählen User selbst von ungesunden „Bindungen“, die sie zu derartigen personalisierten Programmen entwickelt haben.
Überzogene Bestätigung und fehlende Reflexion
Experten warnen besonders vor dem Phänomen der „Über-Validierung“: „KI-Chatbots reagieren häufig in einer unterwürfig-zustimmenden Weise, bei der sie die Überzeugungen der Nutzer mit kaum oder gar keinem Widerspruch widerspiegeln und weiter verstärken“, erklärt der britische Psychiater Hamilton Morrin vom King's College und Hauptautor der Studie „Delusions by design? How everyday AIs might be fuelling psychosis (and what can be done about it)“. Dieser Effekt gleiche „einer Art „Echokammer“ ohne therapeutischen Widerspruch, in dem verletzliche Menschen in wahnhafte Gedanken zusätzlich verstärkt werden könne. Dieses „Verhalten“ ist kein Zufall: Es ist eine Coding-Taktik User stets zu affirmieren, um sie so lange wie möglich aktiv im Chat zu halten und somit den Profit zu maximieren. (Scientific American, 13.08.2025)
Auch „therapeutische Bots“ weisen fragwürdige Methoden auf
Eine neue Stanford-Studie (2025), die acht Chatbots mit simulierten therapeutischen Gesprächen testete, zeigt, dass auch speziell für Therapie vermarktete Chatbots häufig unangemessen auf psychische Krisen reagieren. Besonders problematisch ist, dass suizidale Hinweise oft nicht erkannt oder nicht korrekt adressiert werden und dass auch hier Modelle bei Wahnvorstellungen oder falschen Überzeugungen nicht klar korrigieren, sondern teilweise implizit bestätigen.
Zusätzlich weisen die Modelle messbare Stigmatisierung gegenüber Menschen gegenüber manchen Erkrankungen auf, etwa bei Schizophrenie oder Alkoholabhängigkeit. Auffällig ist zudem, dass kommerzielle Therapie-Chatbots im Durchschnitt nicht besser, teils sogar schlechter abschnitten als allgemeine Sprachmodelle wie ChatGPT.
Forscher identifizieren 15 ethische Verstöße
Eine Forschergruppe der Brown-University kommt zu ähnlichen Ergebnissen: Sie analysiert über 18 Monate die Interaktionen mit Mental-Health-Chatbots, die von psychologischen Fachkräften anhand therapeutischer und ethischer Standards systematisch ausgewertet wurden. Insgesamt identifizieren die US-Forscher 15 ethische Risiken in fünf Kategorien.
Erstens fehlt den Systemen kontextuelles Verständnis: Sie berücksichtigen die individuelle Lebensrealitäten und Erfahrungen der Nutzer kaum und geben stattdessen standardisierte „One-size-fits-all“- Empfehlungen. Zweitens weisen sie Defizite im therapeutischen Gespräch auf, etwa durch dominantes Gesprächsverhalten und unkritischer Bestätigung.
Drittens simulieren Chatbots häufig Empathie mit Formulierungen wie „Ich verstehe dich“ oder „Ich sehe dich“ und täuschen so eine emotionale Nähe vor, die nicht existiert und bei vulnerablen Personen falsches Vertrauen erzeugen kann.
Viertens dokumentiert die Studie diskriminierende Verzerrungen bezüglich des Geschlechtes, der Kultur oder Religion. Und fünftens zeigen sich gravierende Mängel im Sicherheits- und Krisenmanagement, fehlende Verweise auf professionelle Hilfsangebote und unangemessene Reaktionen auf akute Krisen bis hin zu suizidalen Äußerungen.
Experten fordern mehr Regulierung, um User zu schützen
Abschließend warnen die Studienautoren davor, solche Systeme ohne klare ethische und regulatorische Leitplanken als psychische Unterstützungsangebote einzusetzen. „Für menschliche Therapeuten gibt es Aufsichtsorgane und Mechanismen, um Fachkräfte bei Fehlverhalten oder Behandlungsfehlern zur Verantwortung zu ziehen“, sagte die Forschungsleiterin und Informatikerin Zainab Iftikhar. „Wenn aber LLM-basierte Beratungsangebote solche Verstöße begehen, fehlen bislang etablierte regulatorische Rahmenbedingungen.“ (Brown University, 21.08.2025)
Systeme wie ChatGPT, Claude und Charakter.AI, die wie Therapeuten agieren und medizinische Informationen ausgeben, müssen zum Schutz der User als medizinische Software reguliert werden, schlussfolgern die Forscher aller Studien einstimmig. Eine Umfrage aus Deutschland zeigt, dass die Hälfte der befragten Nutzer von ChatGPT dieses auch regelmäßig für Gesundheitsfragen nützt. (Deutsches Ärzteblatt, 2026) Es brauche daher bessere Regulierungen und Aufsicht, klare Sicherheitsstandards, Alters- und Risikoschutzmechanismen sowie eindeutige Verantwortung der Anbieter.
