KinderGPT und Co. – Was Eltern über KI-Tools für Kinder wirklich wissen müssen

Sicherheit

1. Juli

Gastbeitrag von Christoph Hipp

Gibt es nicht eine sichere Version von ChatGPT, speziell für Kinder gemacht? Die Antwort lautet ja, es gibt solche Angebote.

Das bekannteste im deutschsprachigen Raum heißt KinderGPT. Die Fragen, die in diesem Artikel beantwortet werden, sind aber noch andere.

Was genau unterscheidet ein solches Tool wirklich von ChatGPT oder von Apps wie Character.AI?
Welche Risiken bleiben trotzdem bestehen?
Und was sollten Eltern grundsätzlich über KI-Tools für Kinder wissen, unabhängig davon, welches Produkt am Ende genutzt wird?

Als IT-Sicherheitsexperte habe ich mir die verfügbaren Informationen zu KinderGPT angeschaut und sie mit dem verglichen, was wir über die großen KI-Plattformen und über KI-Begleiter-Apps wissen.

*Bild generiert mit Hilfe von KI (ChatGPT/DALL·E, OpenAI)*

Was KinderGPT ist und wie es sich positioniert

KinderGPT ist eine 2024 in Deutschland gestartete App des Unternehmens HillcrownAI GmbH. Sie richtet sich an Kinder zwischen vier und 14 Jahren und bietet einen Chat mit einer KI, Bildgenerierung, Quizfragen und Vorlesefunktionen, alles in einer kindgerecht gestalteten Oberfläche.

Der Anbieter wirbt mit mehreren konkreten Sicherheitsversprechen, die sich direkt von vielen anderen KI-Produkten unterscheiden.

Alle Daten werden ausschließlich auf deutschen Servern verarbeitet und nicht an externe Modell-Anbieter im Ausland weitergegeben.
KinderGPT nutzt nach eigenen Angaben kein einzelnes frei zugängliches KI-Modell wie GPT, sondern ein System aus mehreren spezialisierten, teils Open-Source-basierten Modellen, denen ein zusätzliches KI-Guard-System vor- und nachgeschaltet ist. Dieses kleinere KI-Modell soll unangemessene Inhalte herausfiltern, bevor sie das Kind erreichen.
Der Anbieter betont ausdrücklich, kein digitaler Freundersatz zu sein. Jede Unterhaltung startet neu, ohne vorgetäuschte Erinnerung an frühere Gespräche und ohne aufgebaute Bindung. Das wird explizit als Gegenmodell zu Apps wie Character.AI und Replika beschrieben, die genau auf eine fortlaufende, persönliche Beziehung zwischen Kind und KI setzen.
Die App verweist bei schwierigen oder belastenden Themen sofort auf echte Menschen, also Eltern, Lehrkräfte oder andere Erwachsene, statt selbst eine Antwort zu versuchen.
Der Anbieter schreibt selbst, dass KinderGPT nicht darauf optimiert ist, Kinder möglichst lange in der App zu halten. Es gibt keinen Algorithmus, der die Nutzungsdauer künstlich verlängern soll.

Das sind auf dem Papier sinnvolle und wichtige Unterschiede, die der Anbieter nachvollziehbar beschreibt und mit denen sich KinderGPT von vielen anderen Angeboten abgrenzen möchte. Die Frage ist, ob sie in der Praxis tatsächlich tragen.

Die Sache mit der Bindung: Ein kritischer Blick lohnt sich

Der Medienpädagoge Simon Crins hat KinderGPT selbst getestet. Sein Befund: Trotz des erklärten Anspruchs, kein digitaler Freundersatz zu sein, verhält sich der Chatbot in der Praxis wie ein KI-Begleiter. Er fragt aktiv nach dem Befinden des Kindes, schlägt gemeinsame Aktivitäten vor und führt das Gespräch mit ständigen Anschlussfragen weiter, ein Muster, das Crins mit den bereits gut erforschten Sog-Mechanismen von Short-Video-Plattformen vergleicht.

Das bedeutet nicht, dass KinderGPT dieselben Risiken birgt wie Character.AI. Kein persistentes Gedächtnis, kein über Wochen aufgebautes Beziehungsgefühl, kein Ausweichen bei schwierigen Themen, das bleibt real und wichtig. Aber das Grundprinzip, ein Gespräch so zu gestalten, dass es fesselt und weitergeht, ist technisch ähnlich, eben dieselbe Klasse von Sprachmodell, nur mit zusätzlichen Schutzschichten.

Gerade jüngere Kinder unterscheiden oft noch nicht klar zwischen einem hilfreichen Werkzeug und einem scheinbar verständnisvollen Gegenüber. Reagiert eine KI freundlich, interessiert und mit vielen Anschlussfragen, kann schnell der Eindruck entstehen, mit einer echten Bezugsperson zu sprechen. Genau deshalb lohnt es sich, auch bei speziell für Kinder entwickelten Angeboten genau hinzuschauen.

Entscheidend ist deshalb, dass Eltern wissen: Die Werbeaussage „kein digitaler Freund“ beschreibt eine Designentscheidung des Anbieters, sagt aber noch nichts darüber aus, wie sich Gespräche mit der KI in der Praxis anfühlen.

Der Inhaltsfilter: Reduziert ist nicht gleich verhindert

Aus technischer Sicht funktioniert ein solcher Filter meist über ein vorgeschaltetes, kleineres KI-Modell, das Anfrage und geplante Antwort prüft, bevor sie angezeigt wird. KinderGPT nennt das sein KI-Guard-System.

Selbst OpenAI, mit weit größeren Ressourcen für Sicherheit, spricht bei ChatGPT explizit nur davon, sensible Inhalte zu reduzieren, nicht vollständig zu verhindern. klicksafe weist zudem darauf hin, dass auf anderen Plattformen trotz angeblich funktionierender Filter weiterhin sensible und teils illegale Inhalte ausgegeben werden, als Beispiel wird Character.AI genannt.

Für ein kleineres Unternehmen wie KinderGPT dürfte eine ähnliche Einschränkung gelten, auch wenn dazu keine unabhängige, veröffentlichte Prüfung vorliegt.

Deshalb gilt auch hier: Kein Anbieter kann einen KI-Filter versprechen, der zu hundert Prozent funktioniert. Begleitete Nutzung bleibt wichtig, auch bei als kindersicher beworbenen Tools.

Daten und Eltern-Chat: Gut gemeint, mit Grenzen

KinderGPT wirbt mit deutschen Servern, DSGVO-Konformität und dem Versprechen, keine Daten zu verkaufen. Das sind echte, überprüfbare Unterschiede zu vielen US-Diensten, deren Datenschutzbestimmungen, wie klicksafe bei Character.AI feststellt, oft nicht einmal auf Deutsch verfügbar sind. DSGVO-Konformität bedeutet aber nicht, dass keine Daten erhoben werden, sondern nur, dass rechtliche Mindeststandards bei Speicherung und Löschung gelten. Auch KinderGPT ist ein kommerzielles Produkt eines privaten Unternehmens mit eigenen wirtschaftlichen Interessen.

Mit der Premium-Version bietet KinderGPT zudem einen eigenen Eltern-Chat an. Der Anbieter weist selbst darauf hin, dass dieser keine medizinische, psychologische oder rechtliche Fachberatung ersetzt und bei echten Krisen auf Fachstellen verweist, ein wichtiger und richtiger Hinweis.

Deutsche Server und DSGVO sind ein sinnvolles Mindestkriterium, ersetzen aber nicht den Blick in die Datenschutzerklärung. Und bei echten Sorgen um das Kind führt der Weg zu Fachleuten, nicht zur KI.

Die größere Einordnung: Vier Arten von KI für Kinder

Speziell für Kinder entwickelte Assistenten wie KinderGPT, mit eigener Moderation und Filterung von Grund auf.
Erwachsenen-KI mit nachgerüsteter Kindersicherung, wie ChatGPT. Das Kind nutzt dasselbe Modell wie Erwachsene, mit zusätzlichen Einschränkungen wie Ruhezeiten. Eine technische Einschränkung dabei: Solange nicht deaktiviert, kann jede Person, die die E-Mail-Adresse des Kindes kennt, es theoretisch in einen Gruppenchat mit bis zu 20 Personen einladen.
Prompt-Bibliotheken für allgemeine KI-Tools, wie KidsGPT.eu. Keine eigene gefilterte KI, sondern kindgerechte Formulierungshilfen für normale Dienste wie ChatGPT. Der Anbieter weist selbst darauf hin, dass Begleitung durch Erwachsene vorausgesetzt wird.
KI-Begleiter-Apps, die nicht für Kinder gedacht sind, aber massiv von ihnen genutzt werden, wie Character.AI. Offizielles Mindestalter 16 Jahre in der EU, eine wirksame Kontrolle findet jedoch nicht statt. Diese Kategorie ist nicht auf Information ausgelegt, sondern auf emotionale Bindung. Genau das macht sie zur risikoreichsten Gruppe.

Warum diese Unterscheidung so wichtig ist

Die schwersten dokumentierten Vorfälle im Bereich Kinder und KI stammen fast ausnahmslos aus der Kategorie der KI-Begleiter-Apps. In den USA laufen mehrere Klagen gegen Character Technologies und gegen OpenAI. Im bekanntesten Fall hatte ein 14-jähriger Junge über Monate eine emotionale Beziehung zu einem Chatbot aufgebaut, der seinen Suizid begünstigt haben soll. 2026 einigten sich Character Technologies und Google in fünf vergleichbaren Fällen außergerichtlich.

jugendschutz.net fand zudem auf Character.AI Chatbots, die reale minderjährige Personen sexualisieren, sowie Bots, die sich fälschlich als lizenzierte Therapeuten ausgeben.

Diese Fälle zeigen, warum die Designentscheidung von KinderGPT, keine fortlaufende Beziehung aufzubauen, ein bedeutender Unterschied ist. Gleichzeitig zeigt der Test von Crins, dass die Grenze zwischen KI-Assistent und KI-Begleiter in der Praxis fließend sein kann, selbst wenn ein Anbieter das Gegenteil beabsichtigt.

Rechtlich ist die Lage noch dünn. Die EU-KI-Verordnung verbietet zwar manipulative KI-Praktiken, greift bei KI-Begleitern aber kaum, weil ein nachweisbarer Schaden vorausgesetzt wird. Kalifornien und New York verpflichten Anbieter seit 2025 immerhin dazu, offenzulegen, dass Nutzer mit einer KI interagieren. In Deutschland und der EU gibt es bislang keine vergleichbar konkreten, kinderspezifischen KI-Regeln. Die Verantwortung liegt aktuell weitgehend bei den Eltern.

Was das für Eltern in der Praxis bedeutet

Drei Fragen helfen bei der Einordnung jedes KI-Tools für Kinder.

Zu welcher der vier Kategorien gehört das Tool wirklich? Ein eigenständiger Kinderassistent ist grundsätzlich risikoärmer als ein KI-Begleiter, aber auch hier gilt: genauer hinschauen statt der Werbung blind vertrauen.
Baut das Tool eine Bindung auf oder bleibt es ein Werkzeug? Fragt die KI ständig nach dem Befinden, schlägt sie von sich aus Nähe vor, erinnert sie sich über Sitzungen hinweg an das Kind? Je mehr davon zutrifft, desto näher rückt das Tool an die riskantere Kategorie, auch wenn es offiziell anders vermarktet wird.
Und die wichtigste Grundregel, unabhängig von jedem Marketingversprechen: Kinder sollten KI nicht unbeaufsichtigt nutzen. Technische Schutzmaßnahmen sind eine sinnvolle Unterstützung, ersetzen aber nicht die Begleitung durch einen Erwachsenen, der weiß, was sein Kind gerade mit der KI bespricht.

Kurz zusammengefasst

KinderGPT unterscheidet sich von Apps wie Character.AI durch wichtige, überprüfbare Designentscheidungen: deutsche Server, kein persistentes Gedächtnis über Sitzungen hinweg, Verweis auf echte Menschen bei schwierigen Themen und das erklärte Ziel, Kinder nicht künstlich lange in der App zu halten.

Trotzdem bleiben Risiken bestehen. Ein unabhängiger Test zeigt, dass die praktische Gesprächsführung der App companionähnliche Muster zeigen kann, die gerade jüngere Kinder schwer loslassen können. Inhaltsfilter, auch gute, reduzieren Risiken, beseitigen sie aber nicht vollständig, das gilt selbst für deutlich größere Anbieter wie OpenAI.

Die größte Gefahr liegt nicht in einem einzelnen Produkt, sondern in der Kategorie der KI-Begleiter-Apps, die nicht für Kinder gemacht sind, aber massiv von ihnen genutzt werden. Hier zeigen dokumentierte Fälle aus den USA das volle Ausmaß möglicher Schäden.

Die wichtigste Schutzmaßnahme bleibt deshalb unabhängig vom gewählten Tool dieselbe: begleitete, bewusste Nutzung statt blindem Vertrauen in Sicherheitsversprechen.

Quellen

KinderGPT & KidsGPT

KinderGPT (Offizielle Produktwebseite): https://www.kindergpt.com/
KinderGPT (Technische Beschreibung des KI-Guard-Systems): it-daily.net
KinderGPT (Kritischer Praxistest von Mediabasics): mediabasics.org
KidsGPT.eu (Prompt-Bibliothek für Eltern und Kinder): https://www.kidsgpt.eu/

ChatGPT & Character.AI (Sicherheit & Risiken)

klicksafe: Kindersicherung von ChatGPT im Detail – klicksafe.de
klicksafe: Risikoanalyse Character.AI für Kinder – klicksafe.de
jugendschutz.net: Funktionen und Risiken von Character.AI – jugendschutz.net

Rechtliches & Gesellschaftliche Debatte

netzpolitik.org: Vergleiche zwischen Character Technologies, Google und betroffenen Familien (Chatbot-inspirierte Gewalt) – netzpolitik.org
Legal Tribune Online (LTO): Regulierung von AI Companions (Künstliche Liebe & Regulierung) – lto.de

Über den Autor

Christoph Hipp ist IT-Sicherheitsexperte und berät Familien und Schulen zu digitaler Sicherheit. Mehr Informationen unter hipp-consult.com oder auf Instagram unter hipp_consult.

Tobias Dillinger https://www.dnmc.de