5 Fakten: AI Act, Hochrisiko-Systeme, EU-Aufsicht

Ein Pilotprogramm ist normalerweise Verwaltungsroutine, über die niemand berichtet. Wenn aber mehrere deutsche Banken und Klinikketten ihre KI-Systeme freiwillig bei einer Behörde anmelden, bevor sie überhaupt dazu verpflichtet sind, ist das eine andere Geschichte. Genau das passiert seit Mitte Juli 2026: Die EU-Kommission und nationale Aufsichtsbehörden haben ein Pilotprogramm zur Aufsicht über Hochrisiko-Systeme nach dem AI Act gestartet. Erste Finanz- und Gesundheitsunternehmen melden ihre Systeme an – Jahre, bevor die entsprechenden Pflichten regulär greifen. Das wirft eine Frage auf, die ich in dieser Deutlichkeit stellen möchte: Testen hier Unternehmen wirklich die Aufsicht, oder testet die Aufsicht gerade, wie weit sie mit freiwilliger Kooperation kommt?

Was das Pilotprogramm wirklich ist

Wichtig für die Einordnung: Der AI Act selbst kennt kein eigenständiges Rechtsinstitut namens „Pilotaufsicht“. Was derzeit passiert, ist eine praktische Vorlaufphase, in der einzelne Anbieter ihre Hochrisiko-Systeme freiwillig registrieren oder mit Aufsichtsbehörden in Kontakt treten, bevor die gesetzlichen Fristen sie dazu zwingen. Laut der Ankündigung der EU-Kommission und einem Bericht des Handelsblatts nutzen europäische Unternehmen dieses Format, um frühzeitig Klarheit über ihre Compliance-Pflichten zu bekommen.

Für Unternehmen ist das nachvollziehbar. Wer heute investiert, will nicht 2027 feststellen, dass die Architektur seines Kreditscoring-Systems oder seiner Diagnose-Software den Anforderungen nicht entspricht. Frühzeitige Rückmeldung von Behörden reduziert Rechtsunsicherheit – und verschafft den teilnehmenden Konzernen einen zeitlichen Vorsprung gegenüber Wettbewerbern, die abwarten. Das ist legitim, aber es ist auch ein handfester strategischer Vorteil, über den man offen sprechen sollte.

Warum ausgerechnet Finanz- und Gesundheitsunternehmen

Dass gerade diese beiden Branchen vorangehen, ist kein Zufall. Der AI Act stuft ein System als Hochrisiko-System ein, wenn es in einem der in Anhang III benannten Bereiche eingesetzt wird – dazu zählen unter anderem Kreditwürdigkeitsprüfung, Versicherungsrisikobewertung und der Zugang zu wesentlichen Gesundheitsleistungen. Kreditscoring-Modelle und Underwriting-Algorithmen fallen damit praktisch automatisch unter die strengeren Regeln, weil sie über Zugang zu privaten Dienstleistungen entscheiden und Profiling natürlicher Personen betreiben. Und Profiling ist im AI Act eine Ausnahme ohne Ausnahme: Sobald ein System Personen profiliert, gilt es immer als hochriskant, unabhängig davon, wie gering das tatsächliche Risiko im Einzelfall erscheint.

Im Finanzsektor verschränkt sich diese neue EU-Aufsicht mit bereits bestehenden Pflichten aus der Bankenregulierung. Modellrisiko-Management und Stresstests für algorithmische Entscheidungssysteme sind für viele Institute längst Alltag; der AI Act fügt dem eine zusätzliche Dokumentations- und Meldeebene hinzu. Im Gesundheitswesen trifft die neue Aufsicht auf ein Feld, das ohnehin schon durch Medizinprodukterecht und Datenschutzvorgaben stark reguliert ist. Diagnosesoftware, die als Sicherheitsbauteil eines Medizinprodukts gilt oder direkten Einfluss auf Behandlungsentscheidungen nimmt, landet fast zwangsläufig in der Hochrisiko-Kategorie.

Kritische Infrastrukturen: Der blinde Fleck der Pilotphase

Während Banken und Kliniken im Rampenlicht stehen, bleibt ein weiterer Hochrisiko-Sektor in der öffentlichen Wahrnehmung oft blass: die kritische Infrastruktur. Energieversorger, Verkehrsleitsysteme und Wassermanagement nutzen zunehmend prädiktive KI-Modelle, um Netzlasten zu steuern, Ampelschaltungen zu optimieren oder Ausfälle vorherzusagen. Fällt hier ein Algorithmus aus oder entscheidet fehlerhaft, sind die gesellschaftlichen Folgen ungleich schwerer als eine abgelehnte Kreditkarte oder eine verzögerte Diagnose.

Genau deshalb greift bei solchen Systemen nicht nur der AI Act, sondern auch das komplexe Zusammenspiel mit europäischen Cybersicherheitsvorgaben. Wer verstehen will, wie sich die Sicherheitsstandards für kritische Infrastrukturen im Energiesektor mit den neuen KI-Pflichten verzahnen, muss beide Regelwerke parallel denken. Ein Energieversorger, der eine KI zur Netzfrequenz-Steuerung einsetzt, muss nicht nur die Risikoklassen des AI Acts erfüllen, sondern auch nachweisen, dass das System gegen gezielte Manipulationen und Ausfälle resistent ist. Dass sich diese Branche an der aktuellen Pilotaufsicht noch weit weniger beteiligt als der Finanzsektor, ist ein Warnsignal: Hier droht 2027 ein massiver Compliance-Stau, wenn die theoretischen Pflichten auf veraltete Systemarchitekturen treffen.

Was der AI Act für Hochrisiko-Systeme tatsächlich verlangt

Wer sich für die Pilotaufsicht anmeldet, verpflichtet sich faktisch zu einem Katalog an Nachweisen. Dazu gehört eine Konformitätsbewertung vor Inbetriebnahme, ein dokumentiertes Risikomanagementsystem, technische Dokumentation, durchgehende Protokollierung und ein Überwachungssystem nach der Markteinführung. Schwerwiegende Vorfälle müssen den zuständigen Marktaufsichtsbehörden gemeldet werden. Das ist kein einmaliger Papierkram, sondern ein fortlaufender Prozess, der IT-Abteilungen, Rechtsabteilungen und Fachbereiche gleichermaßen bindet.

Besonders für Finanz- und Gesundheitsunternehmen kommt eine weitere Dimension hinzu: Erklärbarkeit. Wenn ein Kreditantrag abgelehnt oder eine Diagnose-Empfehlung ausgegeben wird, reicht ein Blackbox-Modell nicht mehr aus. Explainable-AI-Anforderungen greifen hier ineinander mit datenschutzrechtlichen Pflichten zu automatisierten Entscheidungen – ein Punkt, der in vielen Compliance-Abteilungen bislang unterschätzt wurde. Wer glaubt, mit einem guten Datenschutz-Impressum sei es getan, hat die Anforderungen an Hochrisiko-Systeme schlicht nicht verstanden.

Auch die Frage, wer für welche Pflicht verantwortlich ist, wird in der Praxis oft unterschätzt. Der AI Act unterscheidet zwischen Anbietern, die ein System entwickeln und in Verkehr bringen, und Betreibern, die es im konkreten Anwendungsfall einsetzen. Eine Bank, die eine KI-Lösung eines externen Softwareanbieters für Kreditentscheidungen nutzt, ist Betreiberin – mit eigenen, aber anderen Pflichten als der Softwarehersteller. Diese Rollenklärung ist in vielen Häusern noch nicht abgeschlossen.

Datenqualität und Bias: Wo Compliance auf Mathematik trifft

Ein Aspekt, der in juristischen Analysen oft zu kurz kommt, ist die technische Hürde der Datenqualität. Der AI Act verlangt von Anbietern und Betreibern, dass die Trainings-, Validierungs- und Testdatensätze auf Relevanz, Repräsentativität und Fehlerfreiheit geprüft werden. Das klingt in der Theorie nachvollziehbar, stößt in der Praxis aber an harte Grenzen. Wie beweist eine Klinik, dass ihr Diagnose-Algorithmus auch für Patienten mit anderen ethnischen Hintergründen oder seltenen Vorerkrankungen repräsentativ ist? Die Anforderung, Bias systematisch auszuschließen, erfordert nicht nur juristische Checklisten, sondern tiefgreifende statistische Audits der Datensätze.

In der Finanzbranche zeigt sich ein ähnliches Dilemma. Historische Kreditdaten spiegeln oft vergangene Diskriminierungen wider. Trainiert ein Kreditscoring-Modell auf diesen Daten, perpetuiert es diese Muster – ein klarer Verstoß gegen die Diskriminierungsverbote der EU-Grundrechtecharta und damit auch gegen den Geist des AI Acts. Unternehmen müssen daher Techniken wie synthetische Datengenerierung einsetzen, um Verzerrungen auszugleichen. Das treibt die Entwicklungskosten für Hochrisiko-Systeme massiv in die Höhe und erklärt, warum vor allem große Konzerne an der Pilotaufsicht teilnehmen: Sie haben die nötigen Data-Science-Teams, um diese mathematischen Nachweise überhaupt erbringen zu können.

Der Zeitplan zwischen 2024 und 2028

Die EU-KI-Verordnung ist am 1. August 2024 in Kraft getreten, verfolgt aber einen gestaffelten Zeitplan. Bereits seit Anfang 2025 gelten erste Pflichten wie der Aufbau von KI-Kompetenz in Unternehmen sowie erste Transparenzanforderungen für allgemeine KI-Modelle. Seit August 2025 greifen weitere Regeln für solche Basismodelle, etwa Informationspflichten gegenüber nachgelagerten Entwicklern. Die eigentlichen Pflichten für Hochrisiko-Systeme in den in Anhang III benannten Bereichen – also genau jene, die Finanz- und Gesundheitsunternehmen betreffen – werden nach aktuellem Stand erst ab dem 2. Dezember 2027 verbindlich. Für Systeme, die in bereits regulierte Produkte eingebettet sind, etwa Medizingeräte, gilt eine noch längere Übergangsfrist bis zum 2. August 2028.

Das erklärt, warum die aktuelle Pilotphase überhaupt einen Sinn ergibt: Zwischen der theoretischen Pflicht und ihrer praktischen Anwendung liegen noch anderthalb bis zwei Jahre. Wer diese Zeit nutzt, um Prozesse zu testen, verschafft sich einen Vorlauf, den spätere Nachzügler nicht mehr haben werden. Genau darin liegt aus meiner Sicht der eigentliche Nachrichtenwert dieser Meldung – nicht in einer neuen Rechtspflicht, sondern in einem faktischen Wettlauf um Vorbereitungszeit.

Registrierung in der EU-Datenbank: Pflicht mit Grenzen

Vor Inverkehrbringen eines Hochrisiko-Systems im Sinne von Anhang III müssen sich Anbieter grundsätzlich in einer zentralen EU-Datenbank registrieren. Eine wichtige Ausnahme betrifft Systeme im Bereich kritischer Infrastruktur – diese werden nicht zentral, sondern auf nationaler Ebene registriert, was etwa Energieversorger und Telekommunikationsanbieter direkt betrifft. Für Behörden und öffentliche Einrichtungen, die Hochrisiko-Systeme einsetzen, gilt eine vergleichbare Registrierungspflicht als Betreiber.

Ein verbreitetes Missverständnis muss hier korrigiert werden: Es gibt keine vollständig öffentlich einsehbare Liste aller registrierten Hochrisiko-Systeme samt Unternehmensnamen. Sensible Teile der EU-Datenbank sind ausschließlich der Kommission und den nationalen Behörden zugänglich, nur allgemeine Teile sind öffentlich. Wer also erwartet, in Kürze eine transparente Übersicht zu finden, welche Bank oder Klinik welches System nutzt, wird enttäuscht werden. Genau diese Intransparenz ist einer der Kritikpunkte, über die in der Debatte um die EU-Aufsicht zu wenig gesprochen wird.

Kritik und offene Fragen an der frühen EU-Aufsicht

Persönlich halte ich die Symbolik der Pilotaufsicht für wertvoller als ihren regulatorischen Gehalt. Sie zeigt, dass zumindest ein Teil der Industrie den AI Act nicht als lästige Pflicht, sondern als Gestaltungsraum begreift. Gleichzeitig entsteht ein Zwei-Klassen-System: Große Banken und Klinikketten mit eigenen Compliance-Abteilungen können sich die frühzeitige Teilnahme leisten, kleinere Anbieter medizinischer KI-Tools oder Fintech-Start-ups oft nicht. Wenn die Erfahrungen aus dieser Pilotphase später die Verwaltungspraxis prägen, prägen sie damit vor allem die Interessen der Konzerne, die früh am Tisch saßen.

Eine zweite offene Frage betrifft die Verzahnung mit anderen Aufsichtsinstrumenten. Sicherheitsaudits vor Marktstart, wie sie in bestimmten Bereichen bereits von deutschen Behörden praktiziert werden, laufen parallel zur EU-Datenbank-Registrierung – ohne dass bislang klar ist, wie beide Verfahren ineinandergreifen. Auch der ab August 2026 greifende Whistleblower-Schutz für KI-Sicherheitsforscher wirft die Frage auf, wie unabhängige Hinweise aus der Pilotphase überhaupt in die behördliche Bewertung einfließen sollen. Wer meldet was, an wen, mit welcher Konsequenz? Diese Prozessfragen sind aus meiner Sicht noch nicht ausreichend beantwortet, und die Kommission tut gut daran, das in der laufenden Pilotphase nachzubessern, statt es auf 2027 zu verschieben.

Kritisch zu sehen ist außerdem, dass Berichte über „erste registrierte Hochrisiko-Systeme“ bislang kaum mit belastbaren, veröffentlichten Zahlen unterlegt sind. Es gibt keine öffentlich zugängliche, nach Sektor aufgeschlüsselte Statistik, wie viele Systeme aus Finanz- oder Gesundheitswesen tatsächlich schon gemeldet wurden. Wer hier mit konkreten Zahlen operiert, sollte genau prüfen, ob diese aus offiziellen EU-Dokumenten stammen oder nur aus Presseeinschätzungen abgeleitet sind.

Sanktionsdrohung und Haftungsrisiken im Ernstfall

Die Motivation für die frühe Anmeldung liegt nicht nur in der Vorliebe für Bürokratie, sondern in der massiven Sanktionsandrohung. Der AI Act sieht Bußgelder von bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes vor, wenn verbotene KI-Praktiken eingesetzt werden. Für Verstöße gegen die Pflichten bei Hochrisiko-Systemen drohen immer noch bis zu 15 Millionen Euro oder drei Prozent des Umsatzes. Diese Summen rücken das Thema direkt auf die Agenda der Vorstände und Aufsichtsräte.

Doch das finanzielle Risiko ist nur die eine Seite. Die zivilrechtliche Haftung wird zum echten Minenfeld. Wenn ein Hochrisiko-System einen Schaden verursacht – etwa weil eine KI im Gesundheitswesen eine falsche Medikamentendosierung empfiehlt oder ein automatisiertes Notfallsystem in einem Kraftwerk versagt –, greift das neue EU-Haftungsrecht. Die Beweislastumkehr zugunsten der Geschädigten bedeutet, dass der Betreiber im Zweifel nachweisen muss, dass sein System fehlerfrei funktioniert hat. Wer dann keine lückenlose, im Sinne des AI Acts konforme technische Dokumentation vorlegen kann, verliert den Prozess. Dieses Szenario zeigt: Die Pilotaufsicht ist für viele Unternehmen im Kern eine versicherungstechnische und haftungsrechtliche Absicherungsstrategie.

Was Unternehmen jetzt konkret tun sollten

Für Compliance-Verantwortliche in Finanz- und Gesundheitsunternehmen ergeben sich aus der aktuellen Entwicklung mehrere praktische Schritte. Erstens: ein internes KI-Register aufbauen, das sämtliche eingesetzten Systeme erfasst und danach sortiert, ob sie unter Anhang-III-Kategorien fallen könnten. Zweitens: die Rollen klären – wer im eigenen Haus Anbieter ist und wer Betreiber, denn die Pflichten unterscheiden sich erheblich. Drittens: frühzeitig prüfen, ob eine Konformitätsbewertung durch eine externe Stelle notwendig wird oder eine interne Bewertung ausreicht.

Viertens: Monitoring- und Meldeprozesse für schwerwiegende Vorfälle jetzt schon skizzieren, statt sie erst kurz vor 2027 aus dem Boden zu stampfen. Fünftens: die Verzahnung mit bestehendem Sektorrecht aktiv suchen – Banken mit ihren BaFin-Vorgaben zu Risikomanagement, Kliniken mit Medizinprodukterecht und Datenschutzgrundverordnung. Wer diese Regelwerke getrennt behandelt, produziert doppelte Arbeit und widersprüchliche Dokumentation – ein Problem, das auch bei der Bewertung von Sicherheitsrisiken moderner KI-Assistenten zunehmend kritisch hinterfragt wird. Und sechstens, für alle, die noch zögern: Die freiwillige Teilnahme an der Pilotaufsicht ist keine Pflicht, aber sie ist eine Gelegenheit, Fehler zu machen, bevor sie teuer werden.

Wer sich einen Überblick über die generelle Struktur des regulatorischen Rahmens der EU-Kommission verschafft, erkennt schnell: Die Behörde selbst wirbt aktiv für frühzeitige Beteiligung, weil sie damit ihre eigene Aufsichtspraxis kalibrieren kann, bevor die volle Regulierungswelle 2027 einsetzt. Das ist ein durchaus geschickter Schachzug – die Kommission lässt sich von der Industrie helfen, ihre eigenen Prüfverfahren zu testen.

Was bleibt?

Die Pilotaufsicht ist kein neues Gesetz, sondern ein Test unter Realbedingungen – mit echten Banken, echten Klinikketten und echten Systemen, die über Kredite und Diagnosen mitentscheiden. Ob daraus eine belastbare, faire Aufsichtspraxis für alle Marktteilnehmer entsteht oder vor allem ein Vorteil für die frühen, ressourcenstarken Teilnehmer, wird sich erst zeigen, wenn die verbindlichen Fristen 2027 näher rücken. Bis dahin bleibt die spannendere Frage: Werden kleinere Anbieter und Start-ups überhaupt Gehör finden, wenn die Regeln der Aufsicht am Ende doch vor allem im Dialog mit den Großen entstanden sind?