KI-Sicherheit gegen Missbrauch: EU verbietet CSAM-Deepfakes und setzt auf KI-gestützte Detektion

Ein Klick, ein Foto, ein Deepfake-Generator – und aus einem harmlosen Urlaubsbild wird ein sexualisiertes Fake-Video. Die EU zieht jetzt eine rote Linie: KI-Systeme, die CSAM-Deepfakes oder nicht-einvernehmliche Nacktbilder erzeugen, gelten als inakzeptables Risiko und werden verboten. Was das für Plattformen, Model-Provider und Betroffene konkret bedeutet.

Es klingt nach einer Selbstverständlichkeit, war es aber rechtlich lange nicht: Wer eine KI baut, die auf Knopfdruck sexualisierte Bilder realer Personen erzeugt, bewegte sich in einer Grauzone. Die EU beendet diese Grauzone jetzt konsequent. Mit dem AI Act werden CSAM-Deepfakes und sogenannte Nudifier-Tools als „unannehmbares Risiko“ eingestuft – die schärfste Kategorie, die das Gesetz kennt. Wer in dieser Kategorie landet, darf sein System in der EU schlicht nicht mehr anbieten, betreiben oder nutzen.

Was die EU konkret verbietet

Der Kern der Regelung: KI-Systeme, deren Zweck oder faktische Nutzung darin besteht, realistische Bilder oder Videos von Intimbereichen realer Personen ohne deren Einwilligung zu erzeugen, fallen unter Artikel 5 des AI Act. Das umfasst explizit Genitalien, Anus, Gesäß oder entblößte weibliche Brüste sowie sexuell eindeutige Handlungen. Ebenso erfasst ist jedes KI-System, das Material sexuellen Kindesmissbrauchs erstellt – hier gibt es keine Abwägung, keine Ausnahme, keine Grauzone.

Bemerkenswert ist der Geltungsbereich: Verboten ist nicht nur die Verbreitung solcher Inhalte, sondern bereits das Anbieten, Betreiben oder Verfügbar-Machen der erzeugenden KI-Systeme selbst – unabhängig davon, wo der Server steht. Ein Nudifier-Tool mit Serverstandort in den USA, das EU-Nutzerinnen und -Nutzern offen zugänglich ist, kann also durchaus unter das Verbot fallen. Das ist ein wichtiger Unterschied zu früheren Ansätzen, die primär bei der Verbreitung ansetzten und Herstellerplattformen oft außen vor ließen.

Für Betroffene bedeutet das im Alltag oft trotzdem wenig, solange sie das gefälschte Material erst entdecken, nachdem es bereits kursiert. Ein Muster, wie es in ähnlicher Form immer wieder aus Schulen oder sozialen Netzwerken berichtet wird, lässt sich grob so beschreiben: Ein bestehendes Profilbild wird über eine App hochgeladen, wenige Sekunden später erzeugt der Algorithmus ein sexualisiertes Fake-Bild, das anschließend in Gruppenchats weiterverschickt wird. Genau solche Anwendungen sind es, die die EU mit der expliziten Nennung von Nudifier-Tools jetzt ins Visier nimmt – nicht erst die Verbreitung im Chat, sondern schon die Existenz der erzeugenden App als eigenständiger Rechtsverstoß. Das verschiebt den Ansatzpunkt der Verfolgung deutlich nach vorne, in Richtung des Werkzeugs statt nur des Ergebnisses.

Nicht erfasst sind dagegen Deepfake-Technologien mit anderem Zweck – etwa in Filmproduktion oder Satire. Diese unterliegen stattdessen Transparenz- und Kennzeichnungspflichten, nicht dem Vollverbot. Die Trennlinie verläuft also nicht bei der Technik, sondern beim Zweck und bei der Einwilligung der abgebildeten Person.

Zeitleiste: Vom Grundsatzverbot zur vollen Durchsetzung

Der AI Act ist seit August 2024 in Kraft, die Verbotsregelungen für unannehmbare Risiken – Artikel 5 – sind seit Februar 2025 anwendbar. Diese erste Stufe war noch relativ allgemein gehalten. Per Omnibus-Verfahren wurden im Mai 2025 Nudifier-Apps und CSAM-generierende KI-Systeme dann ausdrücklich und namentlich in die Verbotsliste aufgenommen – eine Konkretisierung, die Rechtsunsicherheit beseitigen sollte.

Darauf folgte eine politische Einigung zwischen Rat und Europäischem Parlament zu ergänzenden Regeln, insbesondere zu Detektionspflichten und Kennzeichnung von KI-generierten Inhalten. Die Tagesschau berichtete über diesen Schritt als Teil einer breiteren Strategie gegen KI-Missbrauch, bei der das EU-KI-Amt künftig eine zentrale Kontrollrolle übernimmt. Die vollständige Durchsetzung – inklusive der neuen Wasserzeichen- und Kennzeichnungspflichten für KI-generierte Bilder und Videos – ist auf den 2. Dezember 2026 terminiert. Für Hochrisiko-KI-Systeme gelten ergänzende Vorgaben ab Dezember 2027, KI als Sicherheitskomponente in regulierten Produkten sogar erst ab August 2028.

Wer jetzt glaubt, das Thema sei bis Ende 2026 komplett aus der Welt, irrt. Bis zur formalen Veröffentlichung im EU-Amtsblatt kann sich der Zeitplan noch verschieben, und die Mitgliedstaaten müssen die Vorgaben erst in nationales Recht integrieren – inklusive zuständiger Behörden und konkreter Bußgeldrahmen. Deutschland etwa muss noch festlegen, welche Behörde für die Durchsetzung zuständig ist. Für Unternehmen, die jetzt schon planen, bedeutet diese Unsicherheit vor allem eines: Wer auf den letzten verbindlichen Satz im Amtsblatt wartet, verschenkt wertvolle Vorbereitungszeit. Realistischer ist es, sich an den bereits bekannten Kernpflichten zu orientieren und Detailanpassungen später nachzuziehen, statt komplett stillzuhalten.

KI-Sicherheit als zweite Säule: Detektion statt nur Verbot

Ein Verbot allein erkennt keinen einzigen Deepfake. Deshalb setzt die EU parallel auf technische KI-Sicherheit zur Erkennung von Missbrauchsmaterial. Plattformbetreiber und Model-Provider sollen künftig nachweisen, dass sie wirksame Sicherheitsmaßnahmen gegen Missbrauch implementiert haben – und diese Pflicht ist kein Widerspruch zum Verbot, sondern dessen praktische Ergänzung.

In der Praxis bedeutet KI-gestützte Content-Moderation heute meist eine Kombination aus mehreren Bausteinen: Hashing bekannter CSAM-Inhalte über Systeme wie PhotoDNA, KI-Bildanalyse zur Erkennung manipulierter oder synthetisch erzeugter Inhalte sowie Kontextanalyse von Metadaten und Upload-Verhalten. Keine dieser Methoden ist für sich genommen ausreichend. Hashing erkennt nur bereits bekanntes Material, KI-Klassifikatoren produzieren Falsch-Positive und Falsch-Negative, und Verhaltensmuster lassen sich verschleiern. Genau deshalb verlangt die EU eine Kombination und keine Einzellösung.

Interessant ist, dass der Begriff Deepfake zunehmend über Bild und Video hinausgeht. Medienberichte verweisen darauf, dass auch Audio-Inhalte betroffen sein können – etwa nicht-einvernehmlich erzeugte, sexualisierte Voice-Clones realer Personen. Content-Moderation-Systeme müssen künftig also auch akustische Manipulation erkennen, was die technische Komplexität für Plattformen deutlich erhöht.

Wer haftet: Plattformen, Model-Provider und die Frage der Bußgelder

Verstöße gegen Artikel 5 des AI Act gehören zur Kategorie der verbotenen KI-Praktiken – und die ist mit den höchsten möglichen Sanktionen des gesamten Gesetzes belegt: bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes eines Unternehmens, je nachdem, welcher Betrag höher ausfällt. Das ist deutlich schärfer als die Strafrahmen für andere AI-Act-Verstöße und signalisiert, wie ernst der Gesetzgeber diese Kategorie nimmt.

Wichtig für die Praxis: Die Verantwortung liegt nicht nur beim ursprünglichen Entwickler eines Modells. Auch wer ein solches System anbietet, in Betrieb nimmt oder es nutzt, kann haftbar werden. Für soziale Medien und andere Plattformen entsteht daraus eine doppelte Pflicht – aus dem AI Act auf der einen und dem Digital Services Act auf der anderen Seite. Beide Regelwerke verlangen im Kern dasselbe: schnelle Erkennung, schnelle Entfernung, nachvollziehbare Präventionsmaßnahmen. Wer beide Pflichten getrennt behandelt, wird spätestens bei einer Prüfung durch das EU-KI-Amt Probleme bekommen.

Wie Betroffene sich wehren können

Für Menschen, deren Bild ohne Einwilligung sexualisiert wurde, bleibt die Rechtslage im Alltag oft unübersichtlich, selbst wenn der rechtliche Rahmen inzwischen klarer ist. Ein erster sinnvoller Schritt ist die Meldung direkt bei der Plattform, auf der das Material auftaucht – die meisten größeren Anbieter sind inzwischen aufgrund des Digital Services Act verpflichtet, Meldewege für rechtswidrige Inhalte bereitzustellen und zeitnah zu reagieren. Wer den Eindruck hat, dass eine Meldung ignoriert oder verschleppt wird, kann sich zusätzlich an nationale Meldestellen wenden, die auf Missbrauchsmaterial spezialisiert sind.

Parallel dazu lohnt sich ein Blick auf zivilrechtliche Optionen: Das unbefugte Erstellen und Verbreiten sexualisierter Abbildungen einer Person berührt in aller Regel Persönlichkeitsrechte, unabhängig davon, ob das Bild real oder KI-generiert ist. Betroffene sollten Screenshots und Links dokumentieren, bevor sie eine Löschung beantragen – nicht um das Material zu verbreiten, sondern um im Streitfall Nachweise zu haben. Wer sich unsicher ist, welche Schritte im eigenen Fall greifen, findet über Verbraucherzentralen oder spezialisierte Beratungsstellen erste Orientierung, ohne dass gleich ein kostenpflichtiges Verfahren nötig wäre.

Grenzen der Regulierung: Was offen bleibt

So konsequent das Verbot formuliert ist – es hat blinde Flecken. Erstens: Die strafrechtliche Einordnung der Nutzung solcher Systeme bleibt national unterschiedlich. Der AI Act verbietet primär das Inverkehrbringen, Betreiben und Nutzen der KI-Systeme; ob die individuelle Erstellung eines Deepfake-Bildes durch eine Privatperson in jedem Mitgliedstaat auch strafrechtlich verfolgt wird, hängt vom jeweiligen nationalen Recht ab.

Zweitens: Die Abgrenzung zwischen verbotener Missbrauchs-KI und erlaubter Deepfake-Technik mit anderem Zweck ist in der Theorie klar, in der Praxis oft schwierig. Ein Bildgenerator, der grundsätzlich für Kunst oder Filmproduktion gedacht ist, aber von Nutzerinnen und Nutzern zur Erzeugung sexualisierter Inhalte zweckentfremdet wird, bewegt sich in einer Zwischenzone. Hier wird die Rechtsprechung erst noch klären müssen, wo Verantwortung des Anbieters endet und Missbrauch durch Dritte beginnt.

Drittens, und das ist aus meiner Sicht der wichtigste Punkt: Server außerhalb der EU sind zwar formal erfasst, aber praktisch schwer zu greifen. Ein Anbieter ohne EU-Niederlassung, ohne EU-Vertreter und ohne Zahlungsdienstleister in der EU lässt sich zwar sperren, aber selten wirklich sanktionieren. Das Verbot ist juristisch scharf formuliert, seine Durchsetzung gegenüber globalen Schattenanbietern bleibt aber eine offene Baustelle. Kritiker weisen zudem darauf hin, dass Sperrverfügungen gegen ausländische Domains oft nur kurzfristig wirken, weil sich Anbieter unter neuem Namen und neuer Adresse innerhalb weniger Tage wieder online zeigen können. Ein reines Verbot ohne kontinuierliches Monitoring wirkt daher eher wie eine erste Hürde als wie ein endgültiger Riegel.

Meine Einschätzung: Richtige Richtung, zu viel Vertrauen in Selbstauskunft

Dass die EU hier überhaupt tätig wird, ist überfällig und richtig. Die Verschiebung vom reinen Content-Verbot zur Regulierung der erzeugenden Systeme selbst ist der entscheidende Fortschritt – bislang wurde meist erst gehandelt, wenn Missbrauchsmaterial schon im Netz kursierte. Jetzt setzt die Regel bereits bei der Herstellung an, und das verändert die Anreizstruktur für Anbieter von Grund auf.

Trotzdem bleibt eine Frage unbeantwortet: Wie belastbar sind die geforderten „wirksamen Sicherheitsmaßnahmen“ wirklich, wenn Betreiber sie größtenteils selbst dokumentieren und bewerten? Ein Nachweis auf Papier ersetzt keine funktionierende Detektion. Wer schon einmal beobachtet hat, wie schnell automatisierte Moderationssysteme bei neuen Bildgeneratoren an ihre Grenzen stoßen, weiß, dass zwischen Gesetzestext und technischer Realität oft Monate liegen. Genau in dieser Lücke entstehen die eigentlichen Schutzdefizite.

Auswirkungen auf die KI-Branche: Zwischen Compliance-Aufwand und Innovationsdruck

Für die KI-Branche selbst bedeutet die neue Regel einen spürbaren Umbau interner Prozesse. Wer bislang generative Bildmodelle ohne differenzierte Filterlogik anbot, muss jetzt technische und organisatorische Vorkehrungen treffen, die über ein einfaches Nutzungsverbot in den AGB hinausgehen. Das betrifft nicht nur große Anbieter mit eigenen Sicherheitsteams, sondern auch kleinere Start-ups, die generative Modelle als Basis für eigene Anwendungen einsetzen und bislang kaum eigene Moderationsressourcen hatten.

Gleichzeitig entsteht ein gewisser Innovationsdruck in eine andere Richtung: Anbieter von Detektionstechnologie, die Missbrauchsinhalte zuverlässig erkennen, dürften von der neuen Regulierung profitieren, weil Plattformen und Model-Provider auf solche Lösungen angewiesen sind, um ihre Nachweispflichten zu erfüllen. Es ist plausibel, dass sich dadurch ein eigener Markt für spezialisierte Moderations- und Detektionsdienste weiter professionalisiert – ähnlich wie es im Bereich der klassischen CSAM-Erkennung mit etablierten Hashing-Diensten bereits der Fall ist. Für kleinere Unternehmen kann das auch eine Chance sein: Statt jede Detektionskomponente selbst zu entwickeln, lässt sich ein Teil der Pflichten über spezialisierte Drittanbieter abdecken – vorausgesetzt, die Verantwortung für die Wirksamkeit bleibt vertraglich klar geregelt.

Was Plattformen und Model-Provider jetzt konkret tun müssen

Wer als Plattform oder als Anbieter generativer KI-Modelle in der EU aktiv ist, sollte die Zeit bis zur vollen Durchsetzung im Dezember 2026 nicht verstreichen lassen. Ein strukturiertes Vorgehen umfasst mehrere Schritte.

• Bestandsaufnahme, ob eigene Modelle oder Nutzerfunktionen die Erzeugung sexualisierter Inhalte realer Personen technisch ermöglichen – auch unbeabsichtigt über Prompt-Kombinationen.
• Aufbau oder Ausbau von Detektionspipelines, die Hashing bekannter Inhalte, KI-Klassifikatoren und Kontextanalyse kombinieren, statt sich auf eine einzelne Methode zu verlassen.
• Klare interne Eskalationswege für Verdachtsfälle, inklusive dokumentierter Reaktionszeiten – das wird bei einer Prüfung durch das EU-KI-Amt der erste Punkt sein, der nachgefragt wird.
• Abstimmung der AI-Act-Pflichten mit bereits bestehenden DSA-Verfahren, um doppelte Prozesse und widersprüchliche Meldewege zu vermeiden.
• Vorbereitung auf Kennzeichnungs- und Wasserzeichenpflichten für KI-generierte Bilder und Videos, die parallel zum Verbot greifen.
• Regelmäßige Nachschärfung der Detektionslogik, statt eines einmaligen Compliance-Projekts – neue Umgehungstechniken erfordern kontinuierliche Anpassung.

Für kleinere Anbieter, etwa Start-ups mit generativen Bildmodellen, ist die größte Gefahr die Unterschätzung des Themas. Der Strafrahmen unterscheidet nicht nach Unternehmensgröße, und ein Verstoß in der Kategorie unannehmbares Risiko wiegt für ein kleines Unternehmen relativ betrachtet mindestens genauso schwer wie für einen Konzern. Ein realistisches Vorgehen für kleinere Teams besteht darin, zunächst die risikoreichsten Funktionen – etwa Bild-Upload mit anschließender Bildmanipulation – gezielt zu prüfen, statt zu versuchen, alle Anforderungen gleichzeitig und vollständig umzusetzen. Priorisierung nach Risiko ist hier praktikabler als ein perfektionistischer Rundumschlag, der am Ende an fehlenden Ressourcen scheitert.

Content-Moderation als Dauerprojekt, nicht als Compliance-Häkchen

Es wäre ein Missverständnis, die neuen Pflichten als einmaliges Projekt abzuhaken. Content-Moderation gegen CSAM-Deepfakes ist ein bewegliches Ziel: Neue Generatoren, neue Umgehungstechniken, neue Formate wie Audio-Deepfakes entstehen laufend. Wer heute eine Detektionslösung implementiert, muss sie in sechs Monaten schon wieder nachschärfen.

Genau hier liegt die eigentliche Herausforderung für die kommenden Jahre: Die EU hat mit dem Verbot einen klaren rechtlichen Rahmen geschaffen, aber die technische Umsetzung von KI-Sicherheit bleibt Aufgabe der Unternehmen selbst. Die Einigung zwischen Rat und Parlament schafft die Grundlage, doch ob sie in der Praxis Wirkung entfaltet, hängt von der Ernsthaftigkeit der Umsetzung ab – und von einer Aufsichtsbehörde, die auch tatsächlich prüft, statt nur Formulare zu sammeln. Der Deutschlandfunk weist zu Recht darauf hin, dass die nationale Umsetzung samt Behördenzuständigkeiten in Deutschland noch offen ist.

Was bleibt?

Ein Verbot auf dem Papier ist noch keine Erkennungsleistung in der Praxis. Die entscheidende Frage der kommenden Monate ist nicht, ob die EU regulatorisch entschlossen genug ist – das ist sie inzwischen –, sondern ob die technische Content-Moderation mit dem Tempo neuer Generatoren mithalten kann. Wer garantiert, dass ein Nudifier-Tool, das morgen unter neuem Namen aus einem Drittstaat auftaucht, tatsächlich schnell genug erkannt und gesperrt wird? Bis diese Frage praktisch beantwortet ist, bleibt der beste Schutz eine Mischung aus technischer Detektion, Plattformdruck und aufmerksamen Nutzerinnen und Nutzern, die verdächtige Inhalte melden, statt sie weiterzuverbreiten.