Kim Icon
Artikel 22 DSGVO existiert seit 2018 – aber erst jetzt, mit dem EU AI Act im Rücken und wachsendem Druck durch Aufsichtsbehörden, merken viele Compliance-Teams: Explainable AI ist keine technische Spielerei, sondern handfeste Rechtspflicht. Wer automatisierte Entscheidungen trifft, ohne die zugrundeliegende Logik erklären zu können, riskiert nicht nur Bußgelder, sondern verliert auch im Streitfall vor Gericht.
Der Kern des Problems steckt in einer einzigen Norm. Art. 22 Abs. 1 DSGVO verbietet es grundsätzlich, Personen ausschließlich auf Basis automatisierter Verarbeitung getroffenen Entscheidungen zu unterwerfen, die rechtliche Wirkung entfalten oder in ähnlicher Weise erheblich beeinträchtigen. Das klingt abstrakt, trifft in der Praxis aber eine breite Palette alltäglicher Unternehmensprozesse: automatisierte Kreditvergabe, algorithmische Personalvorauswahl, dynamische Versicherungsbewertung, Bonitätsscoring. Drei Voraussetzungen müssen kumulativ vorliegen – ausschließlich automatisierte Verarbeitung, rechtliche oder gleichwertig erhebliche Wirkung und eine betroffene natürliche Person. Fehlt auch nur eine dieser Bedingungen, greift das Verbot nicht. Aber: In der Praxis erfüllen erschreckend viele Systeme alle drei Kriterien, ohne dass die verantwortlichen Teams das überhaupt wissen.
Doch. Das Wort „ausschließlich“ lässt einen Ausweg – wenn ein Mensch die Entscheidung tatsächlich überprüft und nicht nur formal absegnet. Was formale Überprüfung von echter menschlicher Kontrolle unterscheidet, bleibt eine der offensten Fragen in der DSGVO-Auslegung. Eine Person, die 200 KI-Kreditentscheidungen pro Stunde durchklickt, ohne die Entscheidungsgrundlage zu verstehen, erfüllt diese Anforderung nicht – die Anforderungen an menschliche Aufsicht nach Art. 22 DSGVO sind substanzieller als viele Unternehmen annehmen. Das ist wichtig, weil die Aufsichtsbehörden genau das prüfen.
Ausnahmen gibt es – aber sie sind eng gefasst. Art. 22 Abs. 2 DSGVO erlaubt automatisierte Entscheidungen bei Vertragsschluss oder -erfüllung, aufgrund ausdrücklicher Einwilligung oder auf Basis nationaler Rechtsvorschriften. In jedem dieser Ausnahmefälle müssen Unternehmen jedoch angemessene Schutzmaßnahmen nachweisen: mindestens das Recht auf menschliche Überprüfung, das Recht auf Stellungnahme und das Recht, die Entscheidung anzufechten. Wer die Ausnahme nutzt, kauft sich damit keine Freiheit – sondern zusätzliche Pflichten.
Art. 15 Abs. 1 lit. h DSGVO ist der zweite Pflichtpunkt im Werkzeugkasten. Betroffene haben das Recht, aussagekräftige Informationen über die involvierte Logik, die Tragweite und die angestrebten Auswirkungen automatisierter Entscheidungen zu erhalten. „Aussagekräftig“ ist das operative Wort. Fachbegriffe wie „gradient-boosted trees“ oder „SHAP-Werte“ erfüllen diese Pflicht nicht, wenn die betroffene Person damit nichts anfangen kann. Der Europäische Datenschutzausschuss hat klargestellt: Erklärungen müssen für eine Person ohne technisches Vorwissen verständlich sein.
Muss der Quellcode offengelegt werden? Nein. Das ist eine häufige Fehlannahme in Compliance-Teams. Das Recht auf Erklärung bei KI-Entscheidungen nach DSGVO verlangt die Benennung der wesentlichen Faktoren, deren Gewichtung und die Konsequenzen für die betroffene Person – nicht die Offenlegung des technischen Codes. Konkret: Einem abgelehnten Kreditantragsteller muss erklärt werden, dass Faktoren wie Beschäftigungsverhältnis, Zahlungshistorie und Wohnort die Entscheidung maßgeblich beeinflusst haben – und welcher Faktor besonders stark gewichtet wurde. Reicht das? Oft nicht. Interessant wird es, wenn Betroffene nachhaken: „Was hätte ich tun müssen, damit die Entscheidung anders ausgefallen wäre?“ Diese Frage ist rechtlich nicht explizit gefordert, aber in der Praxis ein guter Gradmesser für die Qualität einer Erklärung.
Zusätzlich zu Art. 15 greifen die Informationspflichten nach Art. 13 und 14 DSGVO bereits bei der Datenerhebung. Unternehmen müssen im Voraus darüber informieren, dass automatisierte Entscheidungsfindung stattfindet – nicht erst auf Anfrage. Das bedeutet: Datenschutzerklärungen, die lediglich auf „Profiling“ hinweisen ohne die konkrete Entscheidungslogik zu umreißen, sind rechtlich unzureichend. Viele Datenschutzerklärungen, die ich regelmäßig lese, erfüllen diese Anforderung nicht annähernd.
Explainable AI – kurz XAI – ist der technische Unterbau, der diese rechtlichen Anforderungen in die Praxis übersetzt. Im Kern geht es darum, Black-Box-Modelle entweder durch erklärbare Modelle zu ersetzen oder durch Techniken wie LIME (Local Interpretable Model-agnostic Explanations) oder SHAP (SHapley Additive exPlanations) nachträglich interpretierbar zu machen. Beide Ansätze haben Vor- und Nachteile: Inherently interpretierbare Modelle wie Entscheidungsbäume sind einfacher zu erklären, aber oft weniger leistungsfähig. Post-hoc-Erklärungsmethoden lassen sich auf komplexere Modelle anwenden, liefern aber Annäherungen, keine exakten Erklärungen. Wie XAI konkret hilft, Bias in Algorithmen aufzudecken, zeigt dabei einen weiteren Vorteil: Erklärbarkeit und Fairness sind zwei Seiten derselben Medaille.
Was Compliance-Teams häufig unterschätzen: Eine XAI-Erklärung, die technisch korrekt ist, aber für eine betroffene Person nicht verständlich ist, erfüllt die DSGVO nicht. Die rechtliche Anforderung ist nicht „technische Interpretierbarkeit“, sondern Nachvollziehbarkeit für die betroffene Person. Das erfordert eine Übersetzungsleistung zwischen Modell-Output und Alltagssprache – und die ist aufwendiger als die eigentliche XAI-Implementierung. Unternehmen sollten deshalb zwei Schichten unterscheiden: die interne technische Erklärung (für Prüfzwecke und Aufsichtsbehörden) und die externe Erklärung (für Betroffene). Beide müssen existieren. Beide müssen dokumentiert sein.
Praktische XAI-Methoden für Compliance-Teams umfassen konkret:
Ehrlich gesagt: Viele Unternehmen implementieren heute noch XAI als Nachklapp – man hat ein Modell gebaut, es läuft produktiv, und jetzt soll jemand erklären, was es macht. Das ist rückwärts. Compliance-by-Design bedeutet, Erklärbarkeit als Anforderung in die Modellentwicklung einzubauen, nicht als Feigenblatt hinterher.
Der EU AI Act und seine Konsequenzen für Verbraucher sind das eine – aber die direkte Relevanz für Unternehmen, die automatisierte Entscheidungen treffen, ist noch unmittelbarer. Der AI Act schichtet über die DSGVO eine risikobasierte Regulierung: KI-Systeme in bestimmten Bereichen gelten als Hochrisiko-KI und unterliegen damit deutlich strengeren Anforderungen als die DSGVO alleine fordert.
Hochrisiko-KI im Sinne des AI Act umfasst Systeme, die in der Personalauswahl eingesetzt werden, Kreditwürdigkeitsbeurteilungen vornehmen, bei der Strafverfolgung oder im Bildungswesen eingesetzt werden. Für diese Systeme gilt: vollständige technische Dokumentation, Protokollierung aller Entscheidungen, menschliche Aufsicht als Pflicht, und Registrierung in einer EU-Datenbank. Das sind keine weichen Empfehlungen. Der AI Act sieht Bußgelder von bis zu 30 Millionen Euro oder sechs Prozent des weltweiten Jahresumsatzes vor – je nachdem, was höher ist. Zum Vergleich: Die DSGVO liegt bei maximal vier Prozent. Der AI Act übertrifft das in der Höchststufe.
Der Punkt ist: DSGVO und AI Act sind keine alternativen Rechtsrahmen, sondern kumulative Anforderungen. Wer glaubt, mit DSGVO-Compliance auch AI-Act-konform zu sein, liegt falsch. Das Transparenzgebot des AI Act geht in manchen Bereichen deutlich weiter als Art. 22 DSGVO – insbesondere bei der technischen Dokumentation und der Nachvollziehbarkeit über den gesamten Entwicklungszyklus eines Modells hinweg.
Art. 35 DSGVO verlangt eine Datenschutz-Folgenabschätzung (DSFA) immer dann, wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen mit sich bringt. Automatisierte Entscheidungen nach Art. 22 DSGVO fallen explizit in diese Kategorie – eine DSFA ist hier nicht optional. Was in der Praxis häufig fehlt: Die DSFA wird einmal erstellt, wenn das System eingeführt wird, und dann nie wieder aktualisiert. Modelle driften, Eingabedaten ändern sich, neue Risiken entstehen. Eine veraltete DSFA bietet im Prüffall keinen Schutz.
Konkret muss eine DSFA für automatisierte Entscheidungssysteme mindestens enthalten: eine systematische Beschreibung des Systems und seiner Entscheidungslogik, eine Bewertung der Notwendigkeit und Verhältnismäßigkeit, eine Risikoabschätzung für Betroffene und die geplanten Schutzmaßnahmen. Fehlt die XAI-Komponente in diesem Dokument – also die Beschreibung, wie Entscheidungen erklärt und angefochten werden können – ist die DSFA unvollständig. Aufsichtsbehörden wie die Bayerische Datenschutzbehörde oder das Hamburgische Datenschutzamt haben das bereits in mehreren Verfahren beanstandet.
Ein strukturierter Prüfpfad für Teams, die automatisierte Entscheidungen betreiben:
Ich finde, der sechste Punkt wird derzeit am stärksten vernachlässigt. Unternehmen haben sich auf DSGVO eingerichtet und sehen den AI Act als zukünftiges Problem. Er ist es nicht mehr – die Fristen laufen.
Der häufigste Fehler: „Wir haben ja einen Menschen in der Schleife“ – und dieser Mensch klickt Entscheidungen durch, ohne die Entscheidungsgrundlage zu verstehen oder zu prüfen. Das ist Pseudokontrolle. Aufsichtsbehörden erkennen das, und im Streitfall vor Gericht hilft es nicht weiter. Der zweite häufige Fehler: XAI-Methoden werden implementiert, aber die Ausgaben werden nicht für Betroffene aufbereitet. Eine SHAP-Grafik im internen Dashboard erfüllt die Auskunftspflicht gegenüber Betroffenen nicht. Dritter Fehler: Dokumentation der Entscheidungslogik existiert nur zum Zeitpunkt der Modellentwicklung – aber nicht mehr nach dem ersten Retraining.
Was das kostet? Der berühmteste DSGVO-Fall im Bereich automatisierter Entscheidungen – die Klage gegen das österreichische Kreditbüro CRIF – hat gezeigt: Betroffene klagen, und sie gewinnen. Die Kombination aus DSGVO-Bußgeld, Schadensersatzansprüchen nach Art. 82 DSGVO und dem Reputationsschaden übersteigt die Kosten einer ordentlichen XAI-Implementierung um ein Vielfaches. Rechnung einfach.
Letztlich ist XAI nicht nur Compliance-Pflicht, sondern auch strategisch sinnvoll. Systeme, deren Entscheidungslogik dokumentiert und erklärbar ist, lassen sich leichter auf Bias prüfen, leichter warten und leichter verbessern. Unternehmen, die KI-Agenten skaliert im Unternehmen einsetzen, merken das spätestens dann, wenn ein Agent eine fehlerhafte Entscheidungsreihe produziert und niemand nachvollziehen kann, warum. Explainable AI schützt nicht nur Betroffene – es schützt auch das Unternehmen vor sich selbst.
Der Trend zu Compliance-by-Design ist real und beschleunigt sich. Unternehmen, die XAI von Anfang an in die Modellentwicklung einbauen, haben einen messbaren Vorteil gegenüber denen, die nachträglich erklären müssen, was ihre Systeme tun. Der EU AI Act macht diesen Vorteil ab 2026 zur handfesten Marktdifferenzierung – Hochrisiko-KI-Systeme ohne dokumentierte Erklärbarkeit kommen schlicht nicht mehr durch die Konformitätsbewertung.
Welche automatisierten Entscheidungssysteme laufen in Ihrem Unternehmen gerade, und wann haben Sie zuletzt geprüft, ob jemand in Ihrem Team erklären könnte, warum eine konkrete Entscheidung so und nicht anders ausgefallen ist?
