KI-Sicherheitsaudits als Gatekeeping: Wie deutsche Behörden Hochrisiko-KI vor Marktstart prüfen

Ab dem 2. August 2026 gelten die Hochrisiko-Pflichten des EU AI Act für nicht eingebettete KI-Systeme – und Deutschland hat noch immer keine vollständig klare institutionelle Aufgabenteilung. Was bedeutet das für Unternehmen, die jetzt entwickeln?

KI-Sicherheitsaudits: Was das Gesetz tatsächlich verlangt

Wer dieser Tage von „KI-Sicherheitsaudits“ liest, muss aufpassen: Der Begriff wird inflationär genutzt, aber selten präzise gefüllt. Was die EU-KI-Verordnung, der sogenannte AI Act, tatsächlich vorschreibt, ist zunächst eine verpflichtende Konformitätsbewertung vor Inverkehrbringen – kein optionales Gütesiegel, sondern eine gesetzliche Marktzugangsbedingung für Hochrisiko-Systeme.

Die Frist ist konkret: Systeme, die unter Anhang III der Verordnung fallen – also KI in den Bereichen biometrische Identifikation, kritische Infrastrukturen, Bildung, Beschäftigung, Zugang zu essenziellen Diensten, Strafverfolgung, Migration oder Justiz – müssen ab dem 2. August 2026 diesen Anforderungen genügen. Für KI-Systeme, die als Sicherheitsbauteil in bereits regulierten Produkten wie Medizingeräten oder Maschinen eingebettet sind, gilt die Frist ein Jahr später: 2. August 2027.

Das klingt nach viel Zeit. Ist es nicht. Eine vollständige Konformitätsbewertung umfasst Risikomanagementsystem, technische Dokumentation, Datenqualitätsnachweise, Logging-Infrastruktur sowie Nachweise zu Robustheit und Cybersicherheit. Wer heute noch keine strukturierte Vorbereitung betreibt, baut unter Zeitdruck.

Bußgelder bei Verstößen: bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes – je nachdem, was höher ist. Das ist kein regulatorisches Kleingeld.

Wann gilt ein KI-System als hochriskant – und wer entscheidet das?

Die Einstufung als Hochrisiko-System folgt einem zweistufigen Mechanismus nach Artikel 6 der KI-Verordnung. Erstens: Dient das System als Sicherheitsbauteil eines Produkts, das bereits nach EU-Produktharmonisierungsrecht einer Konformitätsbewertung durch Dritte unterliegt? Dann ist es automatisch Hochrisiko. Zweitens: Fällt das System in einen der im Anhang III der KI-Verordnung aufgeführten Anwendungsbereiche?

Dabei gibt es eine wichtige Ausnahme: Ein in Anhang III genanntes System gilt nicht als hochriskant, wenn es nachweislich kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt – etwa weil es nur vorbereitende oder unterstützende Aufgaben erfüllt. Diese Ausnahme gilt allerdings nicht pauschal: Sobald ein System Profiling natürlicher Personen vornimmt, fällt es immer in die Hochrisiko-Kategorie, ohne Ausnahme.

Das ist regulatorisch präzise formuliert. In der Praxis entscheidet zunächst der Anbieter selbst, ob sein System hochriskant ist. Diese Selbsteinstufung ist dokumentationspflichtig und muss nachvollziehbar begründet werden. Marktüberwachungsbehörden können diese Einschätzung nachträglich überprüfen – und korrigieren. Wer die Einstufung strategisch kleinrechnet, geht ein erhebliches Compliance-Risiko ein.

Besonders kritisch ist dabei die Grauzone zwischen „unterstützender Funktion“ und tatsächlicher Entscheidungsrelevanz. Ein KI-Modul, das nominell nur Informationen aufbereitet, aber de facto die Entscheidungsgrundlage für Sachbearbeiter in Sozialbehörden liefert, wird von Marktüberwachungsbehörden aller Voraussicht nach nicht als reine Hilfsfunktion eingestuft. Solche Konstellationen sind in der Praxis häufiger als gedacht – und bergen das Risiko, dass Anbieter eine Selbsteinstufung als nicht hochriskant vornehmen, die einer behördlichen Überprüfung nicht standhält. Gerade Fragen der KI-Sicherheit und regulatorischen Einordnung zeigen, wie komplex die Grenze zwischen unterstützenden und entscheidungsrelevanten Systemen in der Praxis verläuft.

Intern oder extern: Wie Konformitätsbewertungen ablaufen

Ein verbreitetes Missverständnis: KI-Sicherheitsaudits bedeuten nicht zwingend eine externe Zertifizierung. In vielen Fällen ist eine interne Konformitätsbewertung durch den Anbieter vorgesehen – allerdings eine, die vollständig dokumentiert, auditierbar und jederzeit gegenüber Behörden nachweisbar sein muss.

Externe Prüfstellen, sogenannte „notified bodies„, werden nur dann verpflichtend, wenn das übergeordnete Trägerprodukt bereits heute eine Drittkonformitätsbewertung verlangt. Konkret: Ein KI-System als Bestandteil eines regulierten Medizinprodukts wird von einer benannten Stelle geprüft. Ein eigenständiges Bewerbungsauswahlsystem eines HR-Tech-Anbieters dagegen nicht – zumindest nicht durch eine gesetzlich vorgeschriebene externe Stelle.

Das bedeutet: Die Qualität der Selbstbewertung hängt maßgeblich von der internen Kompetenz der Anbieter ab. Fraunhofer IKS beschreibt den Prüfungsprozess als eingehend und strukturiert – in der Praxis aber liegt die Erstbewertung zunächst beim Anbieter. Ob das ausreicht, um Hochrisiko-Systeme in sensiblen Bereichen wie Strafverfolgung oder Asylverfahren zu kontrollieren, bleibt eine offene regulatorische Wette.

Parallel zur gesetzlichen Struktur entstehen private Audit-Frameworks und Prüfschemata, etwa von Forschungsinstituten wie dem Fraunhofer IKS, die Anbieter bei der strukturierten Selbstbewertung unterstützen. Diese sind keine Pflicht, erhöhen aber die Belastbarkeit der Dokumentation erheblich.

Die deutschen Behörden: Wer ist eigentlich zuständig?

Hier wird es unangenehm. Die Antwort lautet Stand Mitte 2026: Es gibt kein zentrales deutsches KI-Amt, das alle Hochrisiko-Systeme vorab testet. Wer das behauptet, beschreibt nicht die Realität.

Stattdessen entsteht ein Verbundmodell: Die Bundesnetzagentur fungiert als eine der zentralen Anlaufstellen und benennt auf ihrer KI-Informationsseite explizit die Pflichten zu Überwachungssystemen und Meldewegen. Daneben agieren sektorale Fachaufsichten – das BfArM im Gesundheitswesen, das Kraftfahrtbundesamt im Verkehrsbereich – sowie Datenschutzbehörden wie der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit (BfDI) für Grundrechts- und Datenschutzaspekte. Auf Länderebene kommen weitere Marktüberwachungsbehörden hinzu.

Das klingt nach Arbeitsteilung. In der Praxis entstehen dabei Reibungsflächen: Welche Behörde prüft, wenn ein KI-System im Sozialhilfeverfahren eingesetzt wird und dabei personenbezogene Daten auswertet? Datenschutzrecht, KI-Verordnung und Verwaltungsrecht greifen gleichzeitig. Die konkreten Zuständigkeitsfragen und Ressourcenausstattungen dieser Behörden sind laut Tagesspiegel Background noch in politischer Abstimmung.

Ich halte das für das eigentliche Governance-Problem: Die gesetzlichen Pflichten sind definiert, aber die institutionelle Infrastruktur, die diese durchsetzen soll, ist im Aufbau. Das schafft asymmetrischen Druck – auf Unternehmen, die Compliance nachweisen müssen, während Behörden noch Prozesse entwickeln.

Was Anbieter nach dem Marktstart leisten müssen

Konformitätsbewertung ist keine Einmalveranstaltung. Der AI Act verlangt eine kontinuierliche Lifecycle-Überwachung nach dem Inverkehrbringen. Konkret heißt das: Anbieter müssen ein Überwachungssystem etablieren, das Leistungsdaten über die gesamte Nutzungsdauer sammelt, dokumentiert und auswertet.

Bei schwerwiegenden Vorfällen – etwa wenn ein Hochrisiko-System in einem Behördenverfahren systematisch fehlerhafte Entscheidungsgrundlagen liefert – besteht Meldepflicht gegenüber den zuständigen Marktüberwachungsbehörden. Diese Meldepflicht ist nicht optional. Zudem müssen bestimmte Hochrisiko-Systeme in einer EU-Datenbank registriert werden, die für Behörden und in Teilen für die Öffentlichkeit einsehbar ist.

Das Logging-Gebot verdient besondere Aufmerksamkeit: Wer heute KI-Systeme entwickelt, ohne von Beginn an Entscheidungsprotokolle und Systemzustände aufzuzeichnen, muss diese Infrastruktur nachträglich aufbauen – technisch aufwändig und teuer. „Compliance by Design„, wie es Wirtschaftskanzleien formulieren, ist hier keine Beraterfloskel, sondern eine technische Notwendigkeit.

Was bedeutet das für Systeme, die bereits im Einsatz sind? Wesentliche Änderungen an einem Hochrisiko-System können eine erneute Konformitätsbewertung erforderlich machen. Wer sein System kontinuierlich weiterentwickelt, lebt damit in einem laufenden Compliance-Prozess – nicht in einem einmaligen Zertifizierungsmoment.

Behörden als Betreiber: Die öffentliche Hand unter Selbstverpflichtung

Ein oft übersehener Aspekt der Marktüberwachung: Die öffentliche Hand ist nicht nur Aufseher, sondern häufig selbst Betreiber von Hochrisiko-KI. Systeme in Asylverfahren, Sozialleistungsbescheiden oder der Grenzkontrolle fallen unter Anhang III. Das bedeutet: Dieselben Behörden, die private Anbieter überwachen sollen, müssen die gleichen Anforderungen an Transparenz, Dokumentation und menschliche Aufsicht erfüllen.

Tagesspiegel Background beschreibt das treffend als strukturelles Dilemma: Öffentliche Stellen, die auf intransparente Anbieter-Tools zurückgreifen und intern keine ausreichende technische Kompetenz aufgebaut haben, können weder die Systeme seriös prüfen noch die regulatorischen Vorgaben vollständig einhalten. Die Warnung vor „Black-Box-Tools“ in behördlichen Entscheidungsprozessen ist berechtigt – und wird in der politischen Debatte noch zu wenig ernst genommen.

Die KI-Governance ist daher kein rein unternehmerisches Compliance-Thema. Sie ist auch ein öffentlicher Infrastrukturauftrag: Verwaltungen brauchen eigene Fachkompetenz, um KI-Systeme beurteilen zu können. Das ist eine Investitionsfrage – und eine politische Entscheidung.

Mehrfach-Compliance: Wenn KI-Verordnung, DSGVO und Produktrecht sich überlagern

Wer glaubt, dass der AI Act die DSGVO oder das Produktsicherheitsrecht ersetzt, liegt falsch. Die KI-Verordnung wirkt horizontal als Ergänzungsrahmen, bestehende sektorale Regelwerke bleiben vollständig anwendbar. Ein KI-gestütztes Medizinprodukt unterliegt gleichzeitig der Medizinprodukteverordnung, der DSGVO und dem AI Act. Alle drei Regelwerke stellen eigenständige Anforderungen – an Sicherheit, Datenschutz, KI-Robustheit und Konformitätsbewertung.

Für Unternehmen bedeutet das konkret: Dokumentations- und Auditaufwände multiplizieren sich. Gleichzeitig erzeugen die unterschiedlichen Aufsichtsbehörden potenziell widersprüchliche Anforderungen. Die Bundesnetzagentur koordiniert KI-Fragen, der BfDI Datenschutzaspekte, sektorale Aufsichten ihren jeweiligen Fachbereich. Wer Compliance-Strukturen aufbaut, muss diese Schichten explizit berücksichtigen.

Meine Einschätzung: Die regulatorische Komplexität ist bewusst in Kauf genommen worden – zugunsten eines breiten Schutzniveaus. Das ist politisch vertretbar. Aber es wälzt erhebliche Koordinationskosten auf die Anbieter ab, insbesondere auf kleinere Unternehmen, die keine dedizierten Compliance-Teams unterhalten. Hier braucht es pragmatische Orientierungshilfen der Behörden, keine weiteren abstrakten Leitlinien.

Besondere Herausforderungen für kleinere Anbieter und Start-ups

Während große Technologiekonzerne eigene Compliance-Abteilungen und juristische Teams aufgebaut haben, trifft die Regulierungslast kleine und mittlere KI-Anbieter besonders hart. Ein Start-up, das ein automatisiertes Scoring-System für Kreditentscheidungen entwickelt – klassisches Anhang-III-Territorium – steht vor der gleichen Dokumentationspflicht wie ein Dax-Konzern, verfügt aber über einen Bruchteil der Ressourcen.

In der Praxis entstehen daraus drei typische Problemmuster. Erstens: Anbieter stufen ihr System strategisch als nicht hochriskant ein, weil die Compliance-Last abschreckend wirkt – ein Risiko, das durch behördliche Nachprüfung zu empfindlichen Bußgeldern führen kann. Zweitens: Kleine Unternehmen beauftragen externe Berater, die wiederum sehr unterschiedliche Prüfstandards anlegen, was zu einer faktischen Qualitätsvarianz bei Konformitätsbewertungen führt. Drittens: Die technische Dokumentationspflicht wird formal erfüllt, aber nicht substanziell gelebt – Logging-Systeme laufen, werden aber nicht systematisch ausgewertet.

Die Europäische KI-Behörde, das AI Office der EU-Kommission, hat angekündigt, Leitfäden speziell für KMU zu entwickeln. Wie praxistauglich diese ausfallen, bleibt abzuwarten. Bis dahin sind Anbieter gut beraten, sich eng an bestehenden Frameworks zu orientieren und ihre Einstufungsentscheidungen besonders sorgfältig zu begründen – schriftlich, nachvollziehbar und belastbar.

Praxis-Szenario: Ein HR-Tech-Anbieter auf dem Prüfstand

Um die abstrakte Regulierungslogik greifbarer zu machen, lohnt ein konkretes Szenario: Ein mittelständisches HR-Tech-Unternehmen entwickelt ein KI-gestütztes Bewerbermanagementsystem, das Lebensläufe analysiert, Kandidaten nach Eignung bewertet und eine Rangliste für Personalentscheider erzeugt. Das System trifft keine formale Einstellungsentscheidung – diese liegt beim Menschen. Die KI liefert jedoch eine gewichtete Empfehlung, die in der Praxis nahezu immer übernommen wird.

Fällt dieses System unter Anhang III? Ja – Beschäftigung und Personalmanagement sind explizit gelistet. Ist es hochriskant? Die Anbieter neigen dazu, auf die fehlende Letztentscheidungskompetenz der KI zu verweisen. Aufsichtsbehörden werden dagegen argumentieren, dass eine Empfehlung, die systematisch befolgt wird, funktional einer Entscheidung gleichkommt.

Was muss der Anbieter konkret tun? Er braucht eine vollständige technische Dokumentation der verwendeten Trainingsdaten – inklusive Nachweis, dass historische Einstellungsdaten keine systematischen Verzerrungen nach Geschlecht, Herkunft oder Alter einschleppen. Er muss ein Risikomanagementsystem etablieren, das diese Verzerrungsrisiken laufend überwacht. Er muss sicherstellen, dass Personalentscheider die KI-Empfehlung nachvollziehen und inhaltlich hinterfragen können – was de facto Erklärbarkeitsanforderungen an das Modell stellt. Und er muss alle Systemausgaben und -änderungen protokollieren, sodass im Streitfall nachvollzogen werden kann, auf Basis welcher Modelversion eine bestimmte Empfehlung erzeugt wurde.

Dieses Szenario zeigt: KI-Sicherheitsaudits sind kein bürokratischer Formalakt, sondern greifen tief in Systemarchitektur, Datenstrategie und interne Prozesse ein. Wer das als nachgelagerte Compliance-Aufgabe behandelt, unterschätzt den Aufwand erheblich.

Was jetzt konkret zu tun ist – und wo der Graubereich bleibt

Für Unternehmen, die heute Hochrisiko-KI entwickeln oder einsetzen, ergibt sich ein konkreter Handlungsrahmen. Erstens: Einstufung klären. Die Frage, ob das eigene System unter Anhang III fällt, muss dokumentiert und begründet sein – nicht nur intern, sondern behördenfest. Zweites: Technische Dokumentation aufbauen. Alle Trainingsdaten, Modellentscheidungen, Systemgrenzen und Validierungsergebnisse müssen lückenlos nachvollziehbar sein. Drittens: Logging von Anfang an einbauen – nicht nachrüsten. Viertens: Risikomanagement als laufenden Prozess verstehen, nicht als Projektmeilenstein.

Wo bleibt der Graubereich? Die tatsächliche Tiefe technischer Prüfungen durch Behörden ist noch offen. Wie rigoros Marktüberwachungsbehörden Stichprobenprüfungen durchführen werden, wie viel technische Expertise sie mitbringen, wie einheitlich die Standards zwischen Bundesländern ausgelegt werden – das wird die Regulierungspraxis erst in den nächsten Jahren zeigen. Pilot-Audits und erste Enforcement-Fälle werden maßgeblich prägen, wie verbindlich KI-Sicherheitsaudits in der Realität ausfallen.

Die Frist läuft. Die Behörden sind im Aufbau. Die Anforderungen sind definiert. Was noch fehlt, ist die Gewissheit, dass Gatekeeping tatsächlich so funktioniert, wie der Gesetzgeber es sich vorstellt – oder ob es bei gut dokumentierter Selbstauskunft bleibt.

Welche Anforderungen stellen Sie in Ihrer Organisation an interne KI-Sicherheitsaudits – und halten Sie die institutionelle Infrastruktur in Deutschland für ausreichend gerüstet?