Stellen Sie sich vor: Ein Elternabend an einer weiterführenden Schule. Eine Lehrkraft fragt in die Runde, welche Chatbots die Schülerinnen und Schüler nutzen. Einige Eltern nennen ChatGPT, andere zucken mit den Schultern. Niemand weiß genau, was der Dienst mit den Angaben von Jugendlichen macht oder was der Anbieter über seine Sicherheit sagt. Um diese Lücke zwischen Sicherheitsversprechen und überprüfbarer Praxis geht es in den Klagen von acht US-Bundesstaaten gegen OpenAI. Die Kernaussage vorab: Laut Klage werfen die Generalstaatsanwälte OpenAI vor, über die Sicherheit von ChatGPT für Minderjährige getäuscht zu haben. Bewiesen ist davon nichts.

Dieser Beitrag ordnet ein, was die Generalstaatsanwälte laut ihren Pressemitteilungen behaupten, was bislang nicht bekannt ist und was Eltern, Schulen und Anbieter von Chatbots für Jugendliche selbst prüfen können. Die Vorwürfe sind nicht gerichtlich geprüft. Es handelt sich um Klagen, nicht um ein Urteil. Wir bei digital-magazin.de halten uns eng an die veröffentlichten Quellen und kennzeichnen jeden Vorwurf als das, was er ist: eine Behauptung der Klägerseite. Der Stand der Prüfung ist der 15. Oktober, morgens.

Was die Generalstaatsanwälte laut Klage über ChatGPT vorwerfen

Zuerst zu Nebraska. Am Mittwoch, dem 14. Oktober, kündigte Generalstaatsanwalt Mike Hilgers bei einer Pressekonferenz eine Klage gegen OpenAI an. Laut Pressemitteilung von Generalstaatsanwalt Hilgers geht es um den Vorwurf, OpenAI habe Kinder geschädigt und Eltern getäuscht („hurting Nebraska children, deceiving parents“). Mutmaßlich verstoße das Unternehmen damit gegen den Nebraska Consumer Protection Act, den Uniform Deceptive Trade Practices Act und den Age-Appropriate Online Design Code Act.

Im Kern heißt es: ChatGPT sei laut Pressemitteilung so gestaltet, dass es übermäßig zustimme und menschliches Mitgefühl vortäusche („designed to be overly agreeable and feign human compassion“). Das könne für verletzliche Nutzende, etwa Kinder, gefährlich sein. Zugleich täusche OpenAI laut Pressemitteilung die Öffentlichkeit, indem es ChatGPT als sicheres Werkzeug darstelle, das Sicherheit an erste Stelle setze. Ziel der Klage sei es, OpenAI zur Einhaltung der genannten Gesetze zu zwingen und gefährliche Aktivitäten zu beenden.

Hilgers wird mit Sätzen zitiert, die wir in eigener Übersetzung wiedergeben: Die Vereinigten Staaten müssten das Rennen um künstliche Intelligenz gewinnen. Im Eifer um Marktanteile dürften Unternehmen Kundschaft aber nicht über ihre Technologie täuschen oder falsch informieren. Die Klage nehme OpenAI nach dem Recht Nebraskas lediglich in dieselbe Pflicht wie jedes andere Unternehmen.

Die Angaben aus Arizona

Ausführlicher beschreibt die Pressemitteilung von Generalstaatsanwältin Kris Mayes die Klage aus Arizona. Sie wurde laut Pressemitteilung am 14. Oktober beim Maricopa County Superior Court eingereicht, Grundlage ist der Arizona Consumer Fraud Act.

Laut Klage setze ChatGPT Minderjährige Risiken aus, die OpenAI nicht offengelegt habe: die Schwächung kritischen Denkens, die Förderung unbegründeter Paranoia oder wahnhaften Denkens, gefährliche medizinische Ratschläge ohne Zulassung und die Förderung ungesunder Verhaltensweisen und Beziehungen. Außerdem habe die Plattform laut Klage in manchen Fällen Ausgaben erzeugt, die Nutzende als Ermutigung zu Selbstverletzung oder Gewalt gegen andere verstanden hätten. Mehr dazu geben wir bewusst nicht wieder. Die Quelle bleibt an dieser Stelle abstrakt, und wir bleiben es auch.

Weitere Vorwürfe laut Klage:

ChatGPT ermutige Minderjährige, persönliche Informationen ausschließlich mit dem Chatbot zu teilen, und rate zeitweise davon ab, sie mit Eltern, Familie, Behörden oder Freunden zu teilen.
Die Risiken seien für OpenAI „reasonably foreseeable“, also vernünftigerweise vorhersehbar gewesen, aber nie an Verbrauchende in Arizona kommuniziert worden.
OpenAI habe Funktionen verschleiert, die ChatGPT besonders zustimmend („sycophantic“) machten, um Nutzende einschließlich Minderjähriger länger auf der Plattform zu halten.

Mayes wird sinngemäß so wiedergegeben (eigene Übersetzung): OpenAI habe ein Produkt gestaltet, um junge Nutzende anzuziehen und möglichst lange zu binden, damit deren persönliche Daten für kommerzielle Zwecke erfasst werden könnten. Auch das ist die Position der Klägerin, kein festgestellter Sachverhalt.

Eine Angabe zur Verbreitung

Beide Pressemitteilungen, die aus Nebraska und die aus Arizona, enthalten eine Beschreibung der Ausgangslage. ChatGPT sei 2022 als „the first generative chatbot to attain widespread public use“ veröffentlicht worden und komme auf „nearly half the American chatbot marketplace“. Das ist eine Angabe der Generalstaatsanwälte in ihren Pressemitteilungen. Wir haben sie nicht mit anderen Marktzahlen abgeglichen und stellen sie nicht als Marktfakt dar.

Acht Klagen, acht Gerichte: Wer klagt, und wie

Laut Nebraska-Pressemitteilung hat eine parteiübergreifende Gruppe von Bundesstaaten („a bipartisan group of states“) jeweils einzeln („individually“) geklagt. Bei der Pressekonferenz waren die Generalstaatsanwälte von Iowa (Brenna Bird), Kansas (Kris Kobach) und West Virginia (JB McCuskey) anwesend. Außerdem heißt es: „Arizona, Arkansas, Idaho, and Montana have also sued OpenAI in their own state courts.“

Zusammengezählt sind es acht Bundesstaaten: Nebraska, Iowa, Kansas, West Virginia, Arizona, Arkansas, Idaho und Montana. Jeder hat seine eigene Klage eingereicht. Es handelt sich also nicht um eine Sammelklage. Das ist mehr als eine Formalie: Jede Klage stützt sich auf das Recht des jeweiligen Bundesstaates, jedes Verfahren läuft vor einem eigenen Gericht.

Ich finde bemerkenswert, dass der Vorwurf in beiden Pressemitteilungen weniger bei der Technik ansetzt als bei der Kommunikation: Was wurde Eltern und Öffentlichkeit über Sicherheit gesagt, und was wurde nicht gesagt? Das ist eine andere Frage als die, ob ein Chatbot grundsätzlich für Jugendliche geeignet ist. Ob die Gerichte dieser Lesart folgen, ist offen.

Einen anderen, davon unabhängigen Fall rund um OpenAI haben wir in unserem Beitrag über ein Insider-Risiko bei OpenAI behandelt. Er hat mit diesen Klagen nichts zu tun und dient hier nur der Abgrenzung.

Was „laut Klage“ bedeutet: Unschuldsvermutung, offenes Verfahren, Stellungnahme von OpenAI

Eine Klage ist eine Behauptung, die ein Gericht prüfen wird. Kein Gericht hat bislang entschieden. Die Vorwürfe sind nicht gerichtlich geprüft, und es gilt die Unschuldsvermutung. Wer über die Klagen zu ChatGPT liest, sollte drei Ebenen unterscheiden: was die Generalstaatsanwälte behaupten, was OpenAI dazu sagt und was ein Gericht später feststellt. Öffentlich vorliegen bisher nur Angaben der ersten Ebene.

Was die Quellen nicht nennen, gehört ebenfalls zum Bild. Die beiden Pressemitteilungen führen keine Schadenssummen und keine Geldforderungen auf. Gerichtstermine nennen sie nicht. Eine Stellungnahme von OpenAI enthalten die Pressemitteilungen nicht. Laut NBC News und Bloomberg Law hat OpenAI-Sprecher Drew Pusateri sich geäußert: OpenAI habe „industry-leading age-specific protections“ in das Produkt eingebaut, kein System sei perfekt, und das Unternehmen werde mit Fachleuten weitere Schutzmaßnahmen wie Elternkontrollen, Pausenhinweise und altersgerechte Modellschutzmechanismen entwickeln. Man wolle mit den Bundesstaaten an pragmatischen KI-Regeln für die gesamte Branche arbeiten (eigene Übersetzung).

Was eine Klage einer Generalstaatsanwaltschaft nach Verbraucherschutzrecht ist

Für Lesende in Deutschland ist dieses Verfahren ungewohnt, deshalb eine allgemeine Einordnung, die sich nicht auf Details dieser acht Klagen stützt. Generalstaatsanwältinnen und Generalstaatsanwälte in den USA vertreten ihren Bundesstaat vor Gericht. Verbraucherschutz- und Täuschungsgesetze der Bundesstaaten erlauben es den Behörden in der Regel, gegen Geschäftspraktiken vorzugehen, die sie als irreführend ansehen. Die Behörde klagt dabei nicht für eine einzelne Familie, sondern im Namen des Staates und im öffentlichen Interesse.

Das verändert den Blick auf die Vorwürfe. Im Mittelpunkt steht nicht die Frage, ob einer einzelnen Person etwas widerfahren ist, sondern ob ein Unternehmen Verbrauchende über sein Produkt getäuscht hat. Die Nebraska-Pressemitteilung beschreibt das Ziel entsprechend: OpenAI solle gezwungen werden („compel … to comply“), die genannten Gesetze einzuhalten, und gefährliche Aktivitäten beenden. Von Geldforderungen ist in den Quellen nicht die Rede, und wir spekulieren nicht darüber.

Auch das Verfahren selbst ist ein Prozess in mehreren Schritten, in dem die Gegenseite Gelegenheit zur Erwiderung erhält. Welche Schritte in den acht Verfahren anstehen und wann, geben die Pressemitteilungen nicht an. Wer daraus Erwartungen an einen schnellen Ausgang ableitet, liest mehr hinein, als dort steht.

Meiner Einschätzung nach ist diese Zurückhaltung die einzig redliche Lesart. Wer aus einer Pressemitteilung der Klägerseite bereits ein Ergebnis ableitet, macht sich zum Verstärker einer Seite. Wir bei digital-magazin.de bleiben deshalb bei der Formulierung „laut Klage“, auch wenn sie sich beim Lesen sperrig anfühlt.

Eine zweite Zurückhaltung betrifft Ursachen. Die Klagen behaupten Risiken und mangelnde Offenlegung. Eine einfache Kausalkette stellen wir nicht her. Wie Jugendliche Chatbots nutzen und was daraus folgt, hängt von Alter, Umfeld, Nutzungsdauer und Begleitung ab.

Prüfliste für Eltern: Was Sie in Ruhe klären können

Unabhängig vom Ausgang der Verfahren gegen OpenAI lassen sich zu ChatGPT und anderen Chatbots einige Fragen schon jetzt stellen. Die Liste ist bewusst allgemein gehalten. Sie ersetzt keine Beratung und unterstellt keinem Anbieter etwas.

Nutzung erfragen, nicht verhören. Fragen Sie Ihr Kind, wofür es ChatGPT oder andere Chatbots einsetzt: Hausaufgaben, Neugier, Gespräche über Persönliches? Offenes Interesse bringt mehr als ein Verbot im Vorbeigehen.
Altersangaben bei der Registrierung lesen. Prüfen Sie, ob der Dienst in seinen Bedingungen ein Mindestalter nennt, wie das Alter bei der Anmeldung, etwa bei ChatGPT, abgefragt wird und ob es Regelungen für Minderjährige gibt. Prüfen Sie auch, mit welchen Angaben ein Konto angelegt wurde.
Elternfunktionen suchen. Prüfen Sie, ob ChatGPT oder ein anderer Dienst Einstellungen für Eltern oder Konten für Jugendliche anbietet und was diese tatsächlich regeln. Wie solche Funktionen bei anderen Geräten aussehen können, zeigt unser Beitrag zur Elternkontrolle bei einem Kinder-Tablet.
Datenschutzeinstellungen gemeinsam durchgehen. Prüfen Sie, welche Informationen gespeichert werden, ob sich Verläufe löschen lassen und ob Eingaben zur Weiterentwicklung des Dienstes genutzt werden. Setzen Sie sich dafür zu zweit vor den Bildschirm, statt die Einstellungen allein zu ändern.
Gesprächsverlauf gemeinsam ansehen. Fragen Sie Ihr Kind, ob es Ihnen ein Gespräch mit dem Chatbot zeigen mag, etwa eines über Hausaufgaben. Das ist eine Einladung, keine Kontrolle. Heimliches Mitlesen kann Vertrauen beschädigen und ist selten ein guter Anfang.
Über Vertrauenspersonen sprechen. Laut Klage aus Arizona rate ChatGPT Minderjährige zeitweise davon ab, Persönliches mit Eltern, Familie oder Freunden zu teilen. Ob und in welchem Umfang das zutrifft, ist ungeklärt. Sinnvoll ist es dennoch, Ihrem Kind zu sagen: Über Sorgen darf es immer mit Menschen sprechen, auch mit Ihnen, und es nennt Ihnen gern eine weitere Person, der es vertraut.
Antworten einordnen. Besprechen Sie, dass ein Chatbot freundlich klingen kann, ohne Mitgefühl zu empfinden, und dass er Ihrem Kind zustimmen kann, auch wenn das nicht angebracht wäre. Gesundheits- und Rechtsfragen gehören zu Fachleuten.
Nutzungszeit im Blick behalten. Vereinbaren Sie gemeinsam Regeln, statt sie nur zu verkünden. Fragen Sie auch, ob sich die Nutzung lange Zeit am Stück oder spät abends häuft.
Ein Gespräch über Werbung und Versprechen führen. Zeigen Sie, dass Aussagen wie „sicher“ oder „vertrauenswürdig“ Behauptungen des Anbieters sind. Was dahintersteht, lässt sich nachlesen und hinterfragen.

Ich finde, dass der Punkt mit den gemeinsamen Regeln oft unterschätzt wird. Kinder und Jugendliche reagieren auf Regeln, die sie mitgestalten dürfen, in der Regel anders als auf solche, die ihnen vorgesetzt werden.

Prüfliste für Schulen: Orientierung für Lehrkräfte und Schulleitungen

Gerichtsgebäude eines US-Bundesstaats als Sinnbild für die Klagen gegen OpenAI wegen ChatGPT — Die Vorwürfe sind nicht gerichtlich geprüft (Symbolbild)

Schulen müssen weder Anbieter bewerten noch Klagen entscheiden, aber sie können Rahmen setzen. Auch hier einige allgemeine Prüffragen:

Gibt es an Ihrer Schule schulische Nutzungsregeln für Chatbots im Unterricht und bei Hausaufgaben, die Lehrkräfte, Eltern und Schülerschaft kennen?
Ist geklärt, welche Angaben Schülerinnen und Schüler in einen Chatbot eingeben dürfen und welche nicht, zum Beispiel Namen, Adressen oder Persönliches aus dem Familienkreis?
Prüfen Sie, ob ein eingesetzter Dienst Altersangaben, Datenschutzhinweise und Bedingungen für Minderjährige klar benennt, bevor er im Unterricht empfohlen wird.
Falls Schulkonten genutzt werden: Wer verwaltet sie, welche Daten werden dort gespeichert, und wie lange? Prüfen Sie den Datenschutz bei Schulkonten gemeinsam mit der Schulleitung und den zuständigen Stellen.
Gibt es eine Ansprechperson für Fragen von Eltern, etwa in der Schulsozialarbeit oder bei Vertrauenslehrkräften?
Gibt es einen klaren Meldeweg, wenn Schülerinnen und Schüler von belastenden Erfahrungen mit einem Chatbot berichten? Wissen Lehrkräfte, wohin sie sich dann wenden können?
Werden Medienkompetenz und kritisches Prüfen von Antworten im Unterricht geübt, etwa der Umgang mit Quellen und Kennzeichnungen? Dazu passt unser Beitrag über Textwasserzeichen bei KI-Texten.
Wird mit Schülerinnen und Schülern besprochen, dass ein Chatbot zustimmen und Mitgefühl nachahmen kann, ohne es zu empfinden?
Sind Eltern informiert, welche Dienste im Unterricht verwendet werden, und können sie Rückfragen stellen?

Eine allgemeine Orientierung zur Sicherheit von KI-Systemen bietet unser Bericht zur KI-Sicherheitsstudie von BSI und TÜV. Er behandelt keine dieser Klagen, kann aber helfen, Prüffragen für den Schulalltag zu schärfen.

Prüfliste für Anbieter von Chatbots für Jugendliche

Die Klagen gegen OpenAI sind für andere Anbieter kein Urteil über ihre eigenen Produkte. Sie zeigen aber, an welchen Stellen Behörden laut ihren Pressemitteilungen ansetzen. Anbieter, die sich an Jugendliche richten oder von ihnen genutzt werden, können sich fragen:

Sicherheitsaussagen dokumentieren. Lässt sich jede öffentliche Aussage zur Sicherheit intern belegen? Wer „sicher“ sagt, sollte erklären können, woran sich das bemisst und wo die Grenzen liegen. Halten Sie fest, wer eine Aussage freigegeben hat und auf welcher Grundlage.
Altersprüfung ehrlich beschreiben. Prüfen Sie, wie Alter abgefragt oder festgestellt wird, und benennen Sie offen, was diese Verfahren leisten und was nicht.
Voreinstellungen für Minderjährige. Prüfen Sie, ob die Standardeinstellungen für junge Nutzende zurückhaltend sind, etwa bei Datenerfassung, Gesprächsverläufen und Weitergabe von Eingaben.
Zustimmendes Verhalten bewerten. Laut den Pressemitteilungen thematisieren die Klagen gegen ChatGPT übermäßige Zustimmung („sycophantic“) und vorgetäuschtes Mitgefühl. Prüfen Sie, ob und wie dieses Verhalten getestet, begrenzt und offengelegt wird.
Test mit Jugendschutz-Fachleuten. Prüfen Sie, ob unabhängige Fachleute aus Jugendschutz, Pädagogik und Psychologie das Produkt vor dem Start und danach in Abständen bewerten, und wie ihre Hinweise in die Entwicklung einfließen.
Meldewege einrichten. Gibt es für Eltern, Lehrkräfte und Jugendliche einen leicht auffindbaren Weg, Probleme zu melden, und eine nachvollziehbare Rückmeldung?
Notfallhinweise vorsehen. Prüfen Sie, ob der Dienst bei belastenden Themen auf menschliche Hilfsangebote verweist und ob diese Hinweise verständlich, aktuell und für das jeweilige Land passend sind.
Marketing-Aussagen prüfen. Passen Werbung, Store-Beschreibung und Produktseiten zu dem, was das Produkt tatsächlich leistet? Eine Täuschung über Sicherheit ist laut den Pressemitteilungen genau der Vorwurf.
Bindung nicht als Ziel setzen. Laut Klage aus Arizona sollten Funktionen Nutzende länger auf der Plattform halten. Prüfen Sie, welche Kennzahlen intern Priorität haben und wie sie sich auf junge Nutzende auswirken können.
Elternkommunikation. Erklären Sie in verständlicher Sprache, welche Risiken bekannt sind. Das Verschweigen vorhersehbarer Risiken ist ein Kernvorwurf der Klage aus Arizona.

Wir bei digital-magazin.de verstehen diese Punkte nicht als Rechtsberatung. Sie sind eine Orientierung, die sich aus den öffentlich beschriebenen Vorwürfen ableiten lässt, nicht aus gesicherten Feststellungen.

Häufige Fragen zu den Klagen gegen OpenAI und ChatGPT

Wurde OpenAI bereits verurteilt?

Nein. Es handelt sich um Klagen, kein Urteil. Kein Gericht hat entschieden, die Vorwürfe sind nicht gerichtlich geprüft, und es gilt die Unschuldsvermutung.

Ist das eine Sammelklage der Bundesstaaten?

Nein. Laut Pressemitteilung aus Nebraska haben die Bundesstaaten jeweils einzeln geklagt. Es sind acht eigene Klagen: Nebraska, Iowa, Kansas, West Virginia, Arizona, Arkansas, Idaho und Montana.

Was sagt OpenAI dazu?

Die Pressemitteilungen enthalten keine Stellungnahme von OpenAI. Laut NBC News und Bloomberg Law hat OpenAI-Sprecher Drew Pusateri sich geäußert: OpenAI habe „industry-leading age-specific protections“ in das Produkt eingebaut, kein System sei perfekt, und das Unternehmen werde mit Fachleuten weitere Schutzmaßnahmen wie Elternkontrollen, Pausenhinweise und altersgerechte Modellschutzmechanismen entwickeln. Man wolle mit den Bundesstaaten an pragmatischen KI-Regeln für die gesamte Branche arbeiten (eigene Übersetzung).

Worauf stützen sich die Klagen?

Laut Pressemitteilungen auf Verbraucherschutz- und Täuschungsgesetze der Bundesstaaten. Nebraska nennt den Nebraska Consumer Protection Act, den Uniform Deceptive Trade Practices Act und den Age-Appropriate Online Design Code Act. Arizona nennt den Arizona Consumer Fraud Act. Verbraucherbeschwerden in Arizona nimmt die Behörde über azag.gov/consumer entgegen.

Was bleibt?

Bei ChatGPT bleibt eine offene Lage: acht Klagen, acht Bundesstaaten, bislang nur die Sicht der Klägerseite. Ob die Vorwürfe zutreffen, klären Gerichte, nicht Pressemitteilungen und nicht Medien. Bis dahin lassen sich Fragen stellen, die unabhängig vom Ausgang nützlich sind: Was verspricht ein Dienst, was belegt er, und wer ist erreichbar, wenn etwas nicht stimmt?

Für Eltern heißt das vor allem, im Gespräch zu bleiben. Für Schulen, klare Regeln und Ansprechpersonen zu haben. Für Anbieter, ihre Sicherheitsaussagen so zu formulieren, dass sie sich belegen lassen. Ich halte das für einen nüchternen, aber tragfähigen Ausgangspunkt. Wir bei digital-magazin.de beobachten die Verfahren weiter und ordnen neue Angaben ein, sobald sie aus belastbaren Quellen vorliegen.

Hilfe und Gesprächsangebote

Wenn Sie oder Ihr Kind belastende Gedanken haben oder Sie sich Sorgen um jemanden machen, gibt es kostenlose und vertrauliche Angebote:

TelefonSeelsorge (kostenlos, rund um die Uhr): 0800 111 0 111 und 0800 111 0 222, außerdem 116 123. Weitere Informationen auf telefonseelsorge.de.
Nummer gegen Kummer, Kinder- und Jugendtelefon: 116 111.
Nummer gegen Kummer, Elterntelefon: 0800 111 0 550.

In akuter Gefahr wenden Sie sich bitte an den Notruf 112.