Kim Icon 
Die Kanzlei Herfurtner hat Mitte Mai 2026 eine Analyse veröffentlicht, die keinen Hehl daraus macht: Der risikobasierte Ansatz des EU AI Act schützt vor Datenlecks nur auf dem Papier gut. In der Praxis klaffen Vertraulichkeitslücken, die weder Entwickler noch Datenschutzbeauftragte bisher ausreichend adressieren. Wer jetzt nicht handelt, riskiert nicht nur Bußgelder – sondern den kompletten Betriebsstopp seines KI-Systems.
Der EU AI Act klassifiziert KI-Systeme nach Risikostufen: minimal, begrenzt, hoch und verboten. Die Logik dahinter klingt vernünftig – je kritischer der Einsatzbereich, desto strenger die Anforderungen. Hochriskante Systeme in Gesundheitsversorgung, Biometrie oder kritischer Infrastruktur unterliegen Pflichten wie Datenschutz-Folgenabschätzungen, Protokollierungspflichten und technisch-organisatorischen Maßnahmen.
Das Problem: Die Klassifizierung selbst ist keine Datenschutzmaßnahme. Sie ist ein Verwaltungsakt. Und genau hier entsteht jene Lücke, die die Analyse der Kanzlei Herfurtner schonungslos offenlegt. Unternehmen investieren in die Einordnung ihres Systems in die richtige Risikokategorie, vernachlässigen aber die konkreten technischen Schutzmaßnahmen, die aus dieser Einordnung resultieren müssten.
Der KI-Datenschutz scheitert nicht an fehlendem Regulierungswillen, sondern an fehlender Operationalisierung. Zwischen dem Bekenntnis zu „Privacy by Design“ und dessen tatsächlicher Implementierung in einem trainierten Modell liegt oft ein erheblicher Graben. Das ist keine Meinung – das ist die nüchterne Bestandsaufnahme aus der Rechtspraxis.
Hinzu kommt: Die DSGVO gilt parallel weiter. Artikel 83 sieht Bußgelder von bis zu 20 Millionen Euro oder vier Prozent des weltweiten Jahresumsatzes vor. Der AI Act schichtet darüber eine weitere Bußgeldstruktur mit bis zu 35 Millionen Euro oder sieben Prozent des Jahresumsatzes bei Verstößen gegen verbotene KI-Praktiken oder Transparenzpflichten. Wer glaubt, der AI Act ersetze die DSGVO, hat beide Regelwerke falsch gelesen.
Schauen wir auf die konkreten Angriffsvektoren. Prompt-Injection ist mittlerweile kein Nischenthema mehr für Sicherheitsforscher. Angreifer können über manipulierte Eingaben ein Sprachmodell dazu bringen, Trainingsdaten oder Systemanweisungen preiszugeben. Bei hochriskanten Systemen, die mit Patientendaten, Bonitätsinformationen oder biometrischen Merkmalen trainiert wurden, ist das kein theoretisches Szenario.
Die Re-Identifizierung ist ein zweites, strukturelles Problem. Auch vermeintlich anonymisierte Datensätze lassen sich über KI-Outputs rekonstruieren. Forschungsergebnisse zeigen, dass bei schlecht anonymisierten Datensätzen hohe Wiederherstellungsraten möglich sind – ein Umstand, den viele Unternehmen unterschätzen. Die pauschale Annahme „wir pseudonymisieren, also sind wir sicher“ greift rechtlich und technisch nicht. Die Datenschutzbehörde Baden-Württemberg hat dazu klar Stellung bezogen: KI-spezifische Anforderungen an Identifizierbarkeit und Transparenz sind eine eigenständige Prüfkategorie, keine Unterrubrik des allgemeinen Datenschutzaudits.
Föderiertes Lernen wird als Ausweg diskutiert. Die Methode lässt Modelle auf lokalen Daten trainieren, ohne Rohdaten zu übertragen. Das reduziert zentrale Angriffsflächen. Aber auch diese Methode ist kein Allheilmittel: Gradient-Leakage-Angriffe können aus den übertragenen Modellgewichten Rückschlüsse auf Trainingsdaten erlauben. Vertraulichkeit im KI-Datenschutz erfordert also mehrschichtige Absicherung – nicht eine Einzelmaßnahme, die als Compliance-Nachweis herhalten soll.
Für Systeme der Hochrisiko-Kategorie schreibt der AI Act eine Reihe von Pflichten vor, die eng mit DSGVO-Anforderungen verzahnt sind. Eine Datenschutz-Folgenabschätzung nach Artikel 35 DSGVO ist in diesen Fällen praktisch immer obligatorisch – nicht optional. Wer ein KI-System im medizinischen Umfeld, in der Personalentscheidung oder im Bildungsbereich einsetzt, muss diesen Schritt dokumentiert und vor Inbetriebnahme abgeschlossen haben.
Technisch-organisatorische Maßnahmen, kurz TOMs, müssen dabei spezifisch auf KI-Risiken ausgerichtet sein. Verschlüsselung der Trainingsdaten, rollenbasierte Zugriffskontrolle auf Modellparameter und Audit-Logs für Inferenzanfragen sind keine netten Zusatzfeatures – sie sind Mindeststandard. Wer seine TOMs aus einem allgemeinen IT-Sicherheitsrahmen kopiert und für KI umlabelt, erfüllt die Anforderungen nicht.
Gleichzeitig entfaltet Artikel 58 DSGVO seine volle Wirkung: Aufsichtsbehörden können die Nutzung eines KI-Systems vollständig untersagen oder dessen Löschung anordnen, wenn Trainingsdaten rechtswidrig verarbeitet wurden. Das gilt unabhängig davon, wie gut das System technisch funktioniert. Ein fehlerhafter Datenschutzprozess beim Training kann also ein fertiges, teuer entwickeltes Produkt praktisch wertlos machen. Die Kanzlei Rödl & Partner hat das in ihrer eigenen Analyse präzise herausgearbeitet: Datenschutzverstöße im KI-Training können das gesamte System unbrauchbar machen.
Es gibt eine Kategorie von Vertraulichkeitslücken, die in der öffentlichen Debatte zu selten diskutiert wird. KI-Systeme selbst können zur Insider-Bedrohung werden – nicht durch externe Angreifer, sondern durch ihre eigene Funktionsweise. Sprachmodelle, die im Unternehmenskontext auf internen Dokumenten feinabgestimmt werden, können bei bestimmten Prompts Fragmente dieser Dokumente reproduzieren. Das betrifft Vertragsdetails, personenbezogene Mitarbeiterdaten, strategische Planungsdokumente.
Das ist kein Angriff von außen. Das ist ein Architekturproblem. Und es betrifft jedes Unternehmen, das generative KI mit proprietären Daten betreibt – egal ob On-Premises oder über Cloud-APIs. Besonders Cloud-Setups produzieren ein weiteres Risiko: Daten verlassen die eigene Infrastruktur, laufen durch Drittanbieter-Systeme, unterliegen möglicherweise Gerichtsbarkeiten außerhalb der EU. Der KI-Datenschutz endet nicht an der eigenen Firewall.
Meiner Einschätzung nach ist genau diese Dimension – die interne Datenleckage durch Modellinferenzen – das am meisten unterschätzte Risiko im gegenwärtigen KI-Einsatz in deutschen Unternehmen. Der Fokus liegt zu sehr auf externen Angreifern, zu wenig auf dem, was das Modell selbst mit einmal aufgenommenem Wissen macht.
Was bedeutet risikobasierte Sicherheit konkret, wenn man die Regulierungsebene verlässt und in die Implementierung geht? Erstens: Datenminimierung beim Training ist keine Selbstverständlichkeit, sondern aktive Designentscheidung. Jedes Datum, das nicht im Trainingsdatensatz landet, kann nicht später durch das Modell preisgegeben werden. Das klingt banal – wird aber in der Praxis regelmäßig ignoriert, weil mehr Daten kurzfristig bessere Modellergebnisse versprechen.
Zweitens ist Differential Privacy eine reife Technik, die in hochriskanten Systemen standardmäßig eingesetzt werden sollte. Sie fügt dem Trainingsalgorithmus kontrollierten statistischen Rausch hinzu, sodass aus dem Modell keine präzisen Rückschlüsse auf einzelne Trainingsdatenpunkte möglich sind. Die Implementierung kostet Modellqualität – das ist ein realer Trade-off, der aber im Kontext sensibler Daten zwingend akzeptiert werden muss.
Drittens: sichere API-Strukturen und Output-Filterung. Jede Inferenzanfrage an ein hochriskantes KI-System sollte protokolliert, auf Anomalien überwacht und gegebenenfalls gefiltert werden. Outputs, die personenbeziehbare Informationen enthalten könnten, müssen abgefangen werden, bevor sie den Nutzer erreichen. Das erfordert zusätzliche Systemschichten – und erhöht den Entwicklungsaufwand. KI-Sicherheit unter neuem Regulierungsdruck bedeutet eben auch: Security ist kein Add-on, sondern Architekturpflicht.
Viertens – und das ist häufig der schwächste Punkt in kleinen und mittleren Unternehmen – braucht risikobasierte Sicherheit klare Zuständigkeiten. Wer ist verantwortlich für das Datenschutzaudit des Modells? Wer prüft Trainingsdaten auf Rechtmäßigkeit? Wer dokumentiert den gesamten Datenpfad vom Rohdatum bis zum Modellouput? Ohne diese Governance-Strukturen bleibt jede technische Maßnahme ein Flickwerk.
Es gibt Stimmen, die den regulatorischen Aufwand rund um KI-Datenschutz als übertrieben betrachten. Das Argument lautet meist: Die meisten Unternehmen setzen KI für harmlose Zwecke ein – Chatbots, Textzusammenfassungen, Bildklassifizierung ohne Personenbezug. Eine so weitreichende Regulierung bremse Innovation, ohne proportionalen Sicherheitsgewinn zu liefern.
Dieses Argument ist nicht vollständig falsch, aber es greift strukturell zu kurz. Erstens ist der Personenbezug eines KI-Outputs häufig schwerer vorherzusagen als der eines klassischen Datenbankeintrags. Ein Sprachmodell, das auf scheinbar harmlosen Unternehmenstexten trainiert wurde, kann bei bestimmten Abfragekombinationen überraschend spezifische Informationen über reale Personen rekonstruieren – ohne dass dies bei der Entwicklung absehbar war.
Zweitens unterschätzt das Innovationsargument die tatsächlichen Kosten von Datenschutzvorfällen. Ein Bußgeldverfahren oder eine einstweilige Verfügung zum Systemstopp erzeugt weit höhere Folgekosten als präventive Compliance-Maßnahmen. Unternehmen, die frühzeitig in saubere Datenprozesse investieren, bauen außerdem einen Vertrauensvorsprung gegenüber Kunden und Geschäftspartnern auf, der sich langfristig auszahlt.
Drittens verkennt die Innovationsschutz-Perspektive, dass regulatorische Klarheit selbst ein Wettbewerbsvorteil sein kann. Wer die Anforderungen des AI Act und der DSGVO früh versteht und umsetzt, kann diese Konformität als Marktvorteil kommunizieren – gerade gegenüber Unternehmenskunden aus regulierten Branchen wie Finanzdienstleistungen oder dem Gesundheitswesen, die ihrerseits auf datenschutzkonforme Zulieferer angewiesen sind.
Zwischen Rechtsberatung und Softwareentwicklung besteht eine strukturelle Kommunikationslücke. Datenschutzbeauftragte sprechen von Rechtsgrundlagen, Zweckbindung und Einwilligung. Entwickler sprechen von Modellarchitektur, Latenz und Accuracy. Beide Seiten meinen dasselbe System, reden aber aneinander vorbei.
Die Analyse der Kanzlei Herfurtner macht diesen Konflikt sichtbar: Rechtliche Anforderungen wie die Pflicht zur Datensparsamkeit kollidieren mit technischen Optimierungsanreizen, die möglichst große und diverse Trainingsdatensätze bevorzugen. Der risikobasierte Ansatz des AI Act setzt voraus, dass beide Seiten gemeinsam am Tisch sitzen – aber in der Unternehmensrealität passiert das zu selten und zu spät, nämlich erst wenn die Aufsichtsbehörde anklopft.
Ein Datenschutzaudit für KI-Systeme ist deshalb kein einmaliges Ereignis kurz vor dem Launch. Es muss kontinuierlich stattfinden – begleitend zum gesamten Entwicklungszyklus. Modelle driften mit der Zeit, Trainingsdaten veralten, neue Angriffsvektoren entstehen. Was heute DSGVO-konform ist, kann morgen durch ein Update oder einen neuen Anwendungsfall zur Compliance-Falle werden.
Besonders kritisch: die Zweckbindung. Ein KI-System, das ursprünglich für Kundenservice-Chatbots trainiert wurde, darf nicht einfach für Personalentscheidungen umfunktioniert werden – auch wenn das technisch problemlos möglich wäre. Die regulatorische Entwicklung rund um den AI Act zeigt: Behörden prüfen die tatsächliche Nutzung, nicht nur die dokumentierte Zweckbestimmung.
Konkrete Handlungsschritte für Unternehmen, die hochriskante KI-Systeme betreiben oder planen: Beginnen Sie mit einer Bestandsaufnahme aller Systeme, die personenbezogene Daten verarbeiten. Das klingt nach Standard-Datenschutzhygiene – ist aber im KI-Kontext erheblich komplexer, weil Personenbezug im Output eines Modells entstehen kann, der im Input noch nicht erkennbar war.
Überprüfen Sie alle Trainingsdatensätze auf Rechtsgrundlagen. Einwilligung, berechtigtes Interesse, Vertragserfüllung – jede Rechtsgrundlage hat im KI-Training spezifische Tücken. Daten, die ohne gültige Rechtsgrundlage ins Training eingeflossen sind, können das gesamte System kompromittieren, nicht nur die betroffenen Datensätze. Rödl & Partner betonen diesen Punkt ausdrücklich: rechtliche Kontrolle und Privacy by Design sind Prävention, nicht Kür.
Lassen Sie Ihre Verträge mit KI-Dienstleistern und Cloud-Providern auf Auftragsverarbeitungsverträge nach Artikel 28 DSGVO prüfen. Fehlt ein solcher Vertrag, haften Sie persönlich für Datenschutzverletzungen, die beim Anbieter entstehen. Das betrifft auch API-Anbindungen an externe Sprachmodelle. Gerade Schatten-IT-Szenarien, in denen Mitarbeitende ohne IT-Genehmigung externe KI-Tools nutzen, sind eine klassische Quelle unkontrollierter Datenweitergabe.
Dokumentieren Sie proaktiv Ihre Risikoabwägungen. Aufsichtsbehörden erwarten nicht Perfektion, wohl aber nachvollziehbare, dokumentierte Entscheidungsprozesse. Wer im Zweifel den Nachweis führen kann, dass er konkrete Risiken erkannt, bewertet und mit verhältnismäßigen Maßnahmen adressiert hat, steht vor einer Behörde erheblich besser da als jemand, der schlicht nichts dokumentiert hat.
Es wäre ein Fehler, KI-Datenschutz ausschließlich als Compliance-Last zu betrachten. In bestimmten Marktsegmenten entwickelt sich nachweisbare Datenschutzkonformität zum aktiven Differenzierungsmerkmal. Unternehmenskunden im Finanz- und Gesundheitssektor fragen bei der Beschaffung von KI-gestützten Softwarelösungen zunehmend gezielt nach Zertifizierungen, Datenschutz-Folgenabschätzungen und Auftragsverarbeitungsverträgen – nicht erst seit dem AI Act, aber mit deutlich gestiegener Intensität.
Anbieter, die frühzeitig auf transparente Datenverarbeitung, nachvollziehbare Modellentscheidungen und nachprüfbare Löschprozesse gesetzt haben, berichten von verkürzten Verkaufszyklen in regulierten Branchen. Das liegt daran, dass deren Einkäufer und Rechtsabteilungen weniger interne Prüfungsaufwände betreiben müssen, wenn Lieferanten bereits vollständige Dokumentation mitbringen.
Für kleine und mittlere Softwareunternehmen bedeutet das eine klare strategische Empfehlung: Datenschutzkonformität früh als Produktmerkmal entwickeln, nicht nachträglich anflicken. Ein KI-System, das von Beginn an mit Differential Privacy, minimierten Trainingsdatensätzen und sauberen Auftragsverarbeitungsverträgen ausgeliefert wird, ist in regulierten Märkten einfacher zu verkaufen als ein technisch überlegenes System mit unklarer Datenlage. Vertraulichkeit ist damit nicht nur ein Schutzversprechen gegenüber Betroffenen – sie ist zunehmend auch ein kaufentscheidendes Argument gegenüber Unternehmenskunden.
Die Analyse der Kanzlei Herfurtner vom Mai 2026 ist kein Alarmismus. Sie ist ein Spiegelbild dessen, was sich in der Praxis täglich zeigt: Der risikobasierte Ansatz ist das richtige Regulierungsframework, aber er funktioniert nur, wenn Unternehmen ihn nicht als Checklistenübung verstehen, sondern als kontinuierlichen Prozess, der technische und rechtliche Expertise verbindet. KI-Datenschutz ist kein Projektmeilenstein. Er ist Betriebspflicht.
Die entscheidende Frage, die sich jedes Unternehmen mit KI-Einsatz stellen sollte: Wissen Sie gerade wirklich, welche personenbezogenen Daten in Ihren Modellen stecken – und was aus ihnen werden kann?
