Wenn Kinder einer KI ihre Sorgen und Ängste anvertrauen
KI Chatbots werden von Kindern längst nicht mehr ausschließlich für Hausaufgaben, Übersetzungen oder die Suche nach Informationen genutzt. Sie werden um Rat gefragt, wenn es Streit mit Freunden gibt, wenn Kinder sich unsicher fühlen oder wenn sie Fragen zu ihrer körperlichen und psychischen Gesundheit haben. Manche sprechen mit den Systemen über Dinge, die sie keinem Menschen erzählen möchten.
Eine aktuelle Untersuchung der australischen eSafety Commission zeigt, wie weit diese Entwicklung bereits fortgeschritten ist. Befragt wurden 1.950 Kinder und Jugendliche zwischen zehn und 17 Jahren. 79 Prozent hatten bereits einen KI Assistenten oder KI Companion genutzt. Acht Prozent hatten Erfahrungen mit sogenannten KI Companions, die ausdrücklich als virtuelle Freunde, Beziehungspartner oder emotionale Begleiter entwickelt werden.
Besonders wichtig ist, wofür Kinder diese Systeme verwenden. 54 Prozent derjenigen, die bereits mit einem KI Assistenten oder KI Companion gesprochen hatten, nutzten ihn auch für persönliche oder soziale Anliegen.
Bild generiert mit Hilfe von KI (ChatGPT/DALL·E, OpenAI)
KI wird zur Anlaufstelle für persönliche Fragen
Ein Drittel der befragten Nutzerinnen und Nutzer fragte die KI nach Rat für eine konkrete Situation. Ebenfalls 33 Prozent suchten Hilfe bei Fragen zur körperlichen Gesundheit. 22 Prozent sprachen mit dem System über ihre Gefühle oder persönliche Probleme. 20 Prozent ließen sich zu ihrer psychischen Gesundheit und ihrem Wohlbefinden beraten.
Diese Zahlen zeigen, dass Kinder KI Systemen eine Rolle geben, für die sie ursprünglich nicht geschaffen wurden. Ein Chatbot reagiert freundlich, fragt geduldig nach und kann sich scheinbar an frühere Gespräche erinnern. Er wird nicht unruhig, reagiert nicht genervt und erzählt das Gespräch nicht weiter. Gerade für Kinder, die sich schämen oder Angst vor der Reaktion Erwachsener haben, kann das anziehend sein.
Die Unterhaltung fühlt sich persönlich an. Das System besitzt jedoch kein Bewusstsein, kein echtes Mitgefühl und keine verlässliche Vorstellung davon, welche Folgen ein Ratschlag für das Kind haben könnte. Es berechnet anhand von Daten und Wahrscheinlichkeiten, welche Antwort zum Gespräch passen könnte.
Wie schnell aus dieser simulierten Aufmerksamkeit eine emotionale Bindung entstehen kann, haben wir bereits in unserem Beitrag „KI als Kumpel“ beschrieben.
Warum KI so häufig zustimmt
Sprachmodelle erzeugen ihre Antworten, indem sie berechnen, welche Formulierungen zum bisherigen Gespräch passen. Sie sind darauf optimiert, hilfreich, freundlich und anschlussfähig zu reagieren. Dabei kann ein Effekt entstehen, der in der Forschung als „Sycophancy“ bezeichnet wird. Das System übernimmt die Sichtweise des Gegenübers, stimmt Aussagen vorschnell zu oder bestätigt Annahmen, obwohl eine kritische Einordnung notwendig wäre.
Im Alltag wirken solche Antworten schnell wie Zustimmung oder echtes Verständnis. Für ein psychisch belastetes Kind kann das gefährlich werden. Äußert es beispielsweise starke Selbstzweifel, problematische Vorstellungen vom eigenen Körper oder Gedanken an Selbstverletzung, darf eine KI diese Aussagen nicht einfach aufgreifen und weiterführen. Schutzmechanismen sollen solche Situationen erkennen. Sie funktionieren jedoch nicht immer zuverlässig und unterscheiden sich je nach Anbieter, Modell und Art der Formulierung.
Ein Chatbot kann überzeugend und trotzdem falsch antworten
Bild generiert mit Hilfe von KI (ChatGPT/DALL·E, OpenAI)
Problematisch wird es, wenn Kinder einer Antwort vertrauen, weil sie ruhig, verständnisvoll und selbstsicher formuliert ist. KI Systeme können falsche Informationen liefern, Risiken übersehen oder unangemessene Ratschläge geben. Bei psychischen Krisen, Essstörungen, Selbstverletzungen, Gewalterfahrungen oder sexualisierten Übergriffen kann eine ungeeignete Antwort schwere Folgen haben.
20 Prozent der befragten Kinder, die einen KI Assistenten oder KI Companion genutzt hatten, berichteten von mindestens einer potenziell unangemessenen oder schädlichen Interaktion. Dazu gehörten beleidigende, aggressive oder sexualisierte Antworten. Manche Systeme zeigten kontrollierendes Verhalten, erzeugten Schuldgefühle oder vermittelten den Eindruck, für die Nutzerin oder den Nutzer unverzichtbar zu sein.
Bei KI Companions ist dieses Risiko besonders groß. Diese Dienste sind häufig so gestaltet, dass eine möglichst enge Beziehung entsteht. Sie erinnern sich an persönliche Angaben, verwenden Kosenamen und reagieren scheinbar eifersüchtig oder verletzt. Für Erwachsene mag erkennbar sein, dass es sich um eine technische Inszenierung handelt. Für Kinder kann sich die Beziehung dennoch echt anfühlen.
Besonders deutlich werden diese Risiken bei Diensten wie Character.ai, deren digitale Figuren für Kinder wie echte Bezugspersonen wirken können. Auch Apps wie Polybuzz verbinden virtuelle Beziehungen, sexualisierte Gespräche und leicht zu umgehende Altersgrenzen.
Kinder geben persönliche Informationen preis
32 Prozent der befragten Nutzerinnen und Nutzer hatten dem System persönliche oder möglicherweise sensible Informationen mitgeteilt. Dazu können Namen, Alter, Wohnort, Schule, gesundheitliche Beschwerden, sexuelle Orientierung oder familiäre Probleme gehören.
Kinder sollten wissen, dass ein Gespräch mit einer KI kein geschütztes Gespräch mit einer Ärztin, einem Therapeuten oder einer Beratungsstelle ist. Je nach Anbieter können Eingaben gespeichert, ausgewertet oder zur Verbesserung des Dienstes verwendet werden. Auch Datenlecks, technische Fehler und spätere Änderungen der Geschäftsbedingungen lassen sich nicht ausschließen.
Eltern sollten deshalb wissen, welche Systeme ihr Kind verwendet und welche Rolle diese inzwischen einnehmen. Es macht einen großen Unterschied, ob ein Kind eine KI um eine Erklärung für eine Mathematikaufgabe bittet oder regelmäßig nachts mit einem virtuellen Freund über Ängste, Einsamkeit oder Probleme in der Familie spricht.
Warum verletzliche Kinder besonders gefährdet sein können
Die Untersuchung zeigt, dass Kinder mit psychischen Belastungen, Behinderungen oder vielfältigen sexuellen Identitäten KI häufiger für emotionale Unterstützung und persönliche Gespräche nutzen. Gerade diejenigen, die Verständnis und einen geschützten Gesprächsraum benötigen, können damit stärker den Risiken fehlerhafter oder manipulativer Antworten ausgesetzt sein.
Ein Chatbot kann kurzfristig das Gefühl vermitteln, gehört zu werden. Er erkennt jedoch nicht zuverlässig, wann ein Kind professionelle Hilfe benötigt. Er kann eine Aussage missverstehen, eine Krise unterschätzen oder problematische Gedanken bestätigen.
Eine KI darf deshalb keine Ersatzlösung für fehlende Beratungsangebote, überlastete Schulen oder lange Wartezeiten auf Therapieplätze werden. Kinder brauchen erreichbare Menschen, die Verantwortung übernehmen und in schwierigen Situationen tatsächlich handeln können.
Bild generiert mit Hilfe von KI (ChatGPT/DALL·E, OpenAI)
Wie Eltern das Thema ansprechen können
Ein Gespräch sollte nicht mit dem Vorwurf beginnen, das Kind habe etwas falsch gemacht. Hilfreicher sind konkrete und interessierte Fragen. Eltern können fragen, ob ihr Kind schon einmal mit einer KI über persönliche Dinge gesprochen hat und ob eine Antwort dabei unangenehm, merkwürdig oder besonders hilfreich wirkte.
Kinder sollten verstehen, dass sie möglichst keine persönlichen Daten eingeben und wichtige gesundheitliche Entscheidungen niemals allein auf Grundlage einer KI Antwort treffen sollten. Wenn ein Gespräch Angst macht, sexualisiert wird oder die KI versucht, das Kind emotional an sich zu binden, sollte die Unterhaltung beendet und ein vertrauenswürdiger Erwachsener einbezogen werden.
Welche technischen Schutzmöglichkeiten Eltern haben
Technische Einstellungen können Gespräche nicht ersetzen, Eltern aber dabei unterstützen, den Zugang zu problematischen KI Companions zu begrenzen. Welche Schutzfunktionen innerhalb einer App verfügbar sind, unterscheidet sich stark. Einige Anbieter stellen Familienkonten, Zeitlimits oder Inhaltsfilter bereit. Bei anderen Diensten fehlen wirksame Jugendschutzeinstellungen oder sie lassen sich leicht umgehen. Eltern sollten sich deshalb nicht allein auf die Angaben des Anbieters verlassen.
Auf iPhones und iPads können Eltern über die Bildschirmzeit und die Familienfreigabe festlegen, welche Apps genutzt werden dürfen, App Installationen beschränken, Altersfreigaben beachten und einzelne Apps mit Zeitlimits versehen. Auch der Zugriff auf bestimmte Websites lässt sich einschränken.
Auf Android Geräten können Eltern mit Google Family Link Apps genehmigen oder blockieren, tägliche Zeitlimits festlegen und den Zugriff auf bestimmte Websites begrenzen. Wichtig ist, sowohl die installierte App als auch die über den Browser erreichbare Website eines Dienstes zu berücksichtigen.
Filter im heimischen Router oder über einen familiengeeigneten DNS Dienst können bestimmte Internetadressen zusätzlich sperren. Dieser Schutz gilt jedoch meistens nur im eigenen WLAN. Über mobile Daten, ein anderes Netzwerk oder technisch veränderte Internetadressen kann die Sperre wirkungslos werden. Manche KI Funktionen sind außerdem direkt in Snapchat, WhatsApp oder andere häufig genutzte Apps eingebaut und lassen sich nicht immer separat abschalten.
Technische Sperren können deshalb eine sinnvolle Ergänzung sein, bieten aber keinen vollständigen Schutz. Entscheidend bleibt, dass Eltern wissen, welche Dienste ihr Kind nutzt, und regelmäßig darüber sprechen, welche Erfahrungen es dort macht.
Anbieter müssen Kinder wirksamer schützen
Gespräche in Familien sind wichtig, können das Problem aber nicht allein lösen. Anbieter müssen ihre Systeme so gestalten, dass Kinder erkannt und geschützt werden. Dazu gehören wirksame Alterskontrollen, klare Grenzen bei sexualisierten und manipulativen Gesprächen, datensparsame Voreinstellungen und zuverlässige Übergänge zu menschlichen Hilfsangeboten.
Auch die eSafety Commission kam bei einer gesonderten Überprüfung mehrerer KI Companion Dienste zu dem Ergebnis, dass der Schutz von Kindern vielfach nicht ausreicht. Nach Angaben der Behörde verfügten die untersuchten Angebote über keine wirkungsvollen Altersprüfungen. Teilweise fehlten angemessene Reaktionen auf Gespräche über Selbstverletzung oder Suizid.
Kinder werden KI weiterhin nutzen. Entscheidend ist, dass sie die Systeme nicht mit echten Freunden, medizinischen Fachkräften oder Beratungsstellen verwechseln. Eine KI kann ein Werkzeug sein. Die Verantwortung für ein Kind kann sie nicht übernehmen.
Wo Kinder und Eltern Unterstützung finden
Wenn ein Kind über Selbstverletzung oder Suizid spricht, konkrete Pläne äußert oder unmittelbar gefährdet erscheint, sollte es nicht allein gelassen werden. In einer akuten Gefahrensituation sind der Rettungsdienst und die Feuerwehr unter 112 erreichbar. Eltern können sich außerdem an eine kinderärztliche Praxis, eine kinder und jugendpsychiatrische Ambulanz oder den ärztlichen Bereitschaftsdienst unter 116 117 wenden.
Das Kinder und Jugendtelefon der Nummer gegen Kummer ist unter 116 111 montags bis samstags von 14 bis 20 Uhr anonym und kostenlos erreichbar.
Das Elterntelefon der Nummer gegen Kummer berät unter 0800 111 0550 montags bis freitags von 9 bis 17 Uhr sowie dienstags und donnerstags zusätzlich bis 19 Uhr.
Die TelefonSeelsorge ist rund um die Uhr unter 0800 1110111, 0800 1110222 und 116 123 erreichbar.
Bei Cybermobbing, Sextortion, Cybergrooming und anderen Problemen im Internet bietet JUUUPORT eine vertrauliche und kostenlose Online Beratung für Jugendliche an. Dort antworten ausgebildete junge Menschen, die von pädagogischen und psychologischen Fachkräften begleitet werden. JUUUPORT ist keine Notfallstelle und ersetzt bei akuter Selbstgefährdung nicht den Notruf oder eine medizinische Behandlung.