Agentic AI
April 15, 2026
Wer nicht erklären kann, warum eine KI so entschieden hat, wird das bald teuer bezahlen – im wörtlichen Sinne. Der EU AI Act macht Explainable AI zur regulatorischen Pflicht, und Unternehmen, die das noch als akademisches Problem abtun, unterschätzen gerade massiv, was auf sie zukommt.
Stellen Sie sich vor, eine Bank lehnt Ihren Kreditantrag ab. Die Begründung: „Das Modell hat so entschieden.“ Kein Mensch in der Prozesskette kann Ihnen sagen, welche Datenpunkte ausschlaggebend waren, ob ein Bias im Trainingsdatensatz steckt oder ob ein Fehler vorliegt. Das ist kein hypothetisches Szenario – das ist die Realität in erschreckend vielen Unternehmen, die KI-Systeme produktiv einsetzen, ohne sich je ernsthaft mit ihrer Nachvollziehbarkeit beschäftigt zu haben.
Explainable AI – auf Deutsch: erklärbare künstliche Intelligenz – bezeichnet Methoden und Techniken, die es ermöglichen, die Entscheidungslogik eines KI-Systems für Menschen verständlich zu machen. Das klingt nach einer technischen Nischenanforderung. Es ist keine. Es ist das Fundament, auf dem KI-Regulierung aufbaut, und 2025 wird dieses Fundament rechtlich verbindlich.
Meine Einschätzung dazu ist eindeutig: Wer Explainable AI jetzt noch als optionales Feature behandelt, hat die Tragweite des EU AI Act schlicht nicht verstanden.
Der EU AI Act ist seit August 2024 in Kraft und rollt stufenweise aus. Die entscheidenden Fristen für Hochrisiko-KI-Systeme greifen ab August 2026 vollständig – aber die Pflichten beginnen früher zu wirken, weil Unternehmen jetzt Compliance-Architekturen aufbauen müssen. Die KI Regulierung ist damit keine Zukunftsmusik mehr.
Was fordert das Gesetz konkret? Für Hochrisiko-Anwendungen – dazu zählen KI-Systeme in Bereichen wie Kreditvergabe, Personalentscheidungen, medizinische Diagnostik, Strafverfolgung oder kritische Infrastruktur – verlangt die KI Regulierung unter anderem:
All das ist ohne Explainable AI strukturell nicht umsetzbar. Wer sein Modell nicht erklären kann, kann es auch nicht dokumentieren, nicht auf Bias prüfen und keine sinnvolle menschliche Aufsicht gewährleisten. Die KI Regulierung und Explainable AI sind damit keine parallelen Anforderungen – sie sind untrennbar verknüpft.
Besonders relevant: Das Gesetz unterscheidet nicht nur nach Technik, sondern nach Verwendungszweck. Ein einfaches Sprachmodell kann zum Hochrisiko-System werden, wenn es für Personalentscheidungen genutzt wird. Das betrifft deutlich mehr Unternehmen als viele ahnen.
Explainable AI ist kein einzelnes Produkt und kein Schalter, den man umlegt. Es ist ein Spektrum an Methoden mit unterschiedlicher Tiefe und unterschiedlichem Anwendungsfall. Die wichtigsten Ansätze im Überblick:
Einige Modelltypen sind von Natur aus verständlich: Entscheidungsbäume, lineare Regression, Regelbasierte Systeme. Bei diesen kann man buchstäblich nachvollziehen, welche Regel zur welchen Entscheidung geführt hat. Der Nachteil: Sie sind oft weniger leistungsfähig als komplexe neuronale Netze. Für viele regulierte Anwendungen sind sie dennoch die ehrlichste Wahl.
Für komplexere Modelle – etwa tiefe neuronale Netze oder Ensemble-Methoden – gibt es Techniken, die nach der Entscheidung erklären, warum diese zustande kam. LIME (Local Interpretable Model-agnostic Explanations) und SHAP (SHapley Additive exPlanations) sind hier die bekanntesten Vertreter. Sie zeigen, welche Input-Features die Entscheidung wie stark beeinflusst haben.
SHAP etwa basiert auf spieltheoretischen Konzepten und berechnet den Beitrag jedes einzelnen Merkmals zur finalen Vorhersage. Das ist mächtig – aber auch hier gilt: Diese Erklärungen sind Näherungen, keine vollständige Wahrheit über das Modell. Wer das vergisst, baut sein Compliance-Konzept auf Sand.
Bei Bild- und Textmodellen zeigen sogenannte Saliency Maps oder Attention-Visualisierungen, auf welche Bereiche das Modell bei seiner Entscheidung fokussiert hat. Nützlich für den technischen Nachweis, aber für Laien und rechtliche Zwecke oft zu abstrakt.
Die entscheidende Frage, die Unternehmen sich stellen müssen: Für wen erklären wir – für den Regulator, für die betroffene Person, für das interne Audit-Team? Explainable AI ist kontextabhängig. Eine technische SHAP-Erklärung befriedigt einen Datenwissenschaftler, aber keine Behörde, die einen Kreditabgelehnten schützen will.
Wäre Explainable AI nur ein Problem für klassische Entscheidungsmodelle, wäre die Lage schon komplex genug. Aber der Markt bewegt sich gerade in eine Richtung, die alles nochmals schwieriger macht: Agentic AI.
Agentische KI-Systeme handeln nicht mehr nur auf Basis einer einzelnen Anfrage. Sie planen, treffen Zwischenentscheidungen, rufen externe Tools auf, koordinieren sich mit anderen Agenten und führen mehrstufige Aufgaben autonom aus. Ein KI-Agent, der selbstständig Lieferketten optimiert, Verträge vorauswertet oder Kundenanfragen bearbeitet, trifft dabei Dutzende von Mikro-Entscheidungen, die zusammen ein Ergebnis produzieren.
Wie erklärt man das? Welche der verketteten Entscheidungen war ausschlaggebend? Wer trägt die Verantwortung, wenn Schritt 7 von 23 einen Fehler enthält?
Diese Fragen sind keine philosophischen Gedankenspiele. Sie sind die praktischen Herausforderungen, mit denen Compliance-Teams in Unternehmen bereits konfrontiert werden, die Agentic-AI-Systeme pilotieren. Und die KI Regulierung hat diese Szenarien noch nicht vollständig im Griff – der EU AI Act wurde konzipiert, bevor Agentic AI in der heutigen Ausprägung existierte. Das wird Nachbesserungen erfordern.
Explainable AI muss deshalb für agentische Systeme als end-to-end-Nachvollziehbarkeit gedacht werden: jede Entscheidung im Prozess muss loggbar, auditierbar und im Nachhinein erklärbar sein. Das ist ein fundamental anderer Ansatz als die punktuelle Modell-Erklärung, wie sie bisher dominiert.
Betrachten Sie die Lage nüchtern: Unternehmen, die KI in regulierten Bereichen einsetzen, brauchen eine Explainability-Strategie – und die meisten haben keine. Was jetzt fehlt, muss nachgebaut werden, und das ist teurer als proaktive Architektur. Wer bereits DSGVO-konforme AI-Workflows etabliert hat, hat zumindest eine Grundstruktur – aber die Anforderungen des AI Act gehen deutlich weiter.
Konkret sollten Unternehmen jetzt folgende Schritte prüfen:
Ein Punkt, der häufig unterschätzt wird: Explainable AI ist kein einmaliges Projekt. Modelle driften, Daten verändern sich, neue Use Cases entstehen. Das erfordert kontinuierliches Monitoring und regelmäßige Re-Validierung der Erklärungsqualität. Das ist organisatorisch anspruchsvoll – und genau deshalb ist frühes Handeln so entscheidend.
Die ehrliche Antwort: sehr unterschiedlich. Finanzdienstleister und Versicherungen, die bereits unter starker Regulierung stehen, haben in vielen Fällen begonnen, Explainability-Ansätze zu implementieren – getrieben durch den Druck von BaFin und EBA, die eigene Leitlinien für den algorithmischen Entscheidungseinsatz veröffentlicht haben. Hier ist das Bewusstsein für Explainable AI vergleichsweise hoch.
Anders sieht es im Mittelstand und in Tech-Unternehmen aus, die KI als Wettbewerbsvorteil nutzen und regulatorische Fragen oft dem Legal-Team delegieren – das häufig nicht die technische Expertise hat, um die richtigen Fragen zu stellen. Hier besteht erheblicher Nachholbedarf.
Das Europäische Parlament beschreibt den AI Act als weltweit erstes umfassendes KI-Gesetz – und genau das ist der Punkt. Es gibt keinen globalen Präzedenzfall, an dem sich Unternehmen orientieren könnten. Die KI Regulierung ist in dieser Form neu, und das macht Compliance-Planung schwieriger.
Gleichzeitig entstehen am Markt spezialisierte Tools und Plattformen, die Explainability-Funktionen out-of-the-box anbieten: IBM OpenScale (jetzt Watson OpenScale), Fiddler AI, Arthur AI – um nur einige zu nennen. Diese Werkzeuge senken die Hürde, ersetzen aber keine strategische Auseinandersetzung mit der Frage, was für den eigenen Anwendungsfall wirklich nötig ist.
Explainable AI hat eine Dimension, die jenseits von Compliance-Pflichten liegt: Sie ist ein Werkzeug zur Aufdeckung von Diskriminierung. Wenn ein Recruiting-Algorithmus systematisch Lebensläufe mit bestimmten Merkmalen benachteiligt, ist das ohne Erklärbarkeit unsichtbar. Mit Explainable AI wird es sichtbar – und damit angreifbar.
Das ist unbequem für Unternehmen, die glauben, ihre KI sei neutral, weil sie keine expliziten Diskriminierungsmerkmale enthält. Proxy-Variablen existieren in fast jedem Datensatz: Postleitzahl als Proxy für Ethnizität, Berufsbiografie als Proxy für Geschlecht. Explainable AI macht diese Zusammenhänge transparent – und das ist gut so, auch wenn es kurzfristig für Aufregung sorgt.
In der Diskussion um den Fachkräftemangel etwa spielen algorithmische Vorselektionen eine zunehmend größere Rolle. Wenn Recruiting-KI systematisch bestimmte Profile filtert, ohne dass das jemand erklären kann, wird das Problem des Fachkräftemangels durch Technologie verschärft statt gelöst.
Die KI-Strategie der Bundesregierung betont ebenfalls Vertrauenswürdigkeit als Kernprinzip für KI-Einsatz – was ohne Erklärbarkeit strukturell nicht herstellbar ist. Das sind keine weichen Werte, sondern harte Anforderungen an technische Systeme.
Es gibt einen größeren Kontext, den viele bei der Explainable-AI-Debatte übersehen: digitale Souveränität. Europas Bestrebungen nach souveräner Cloud-Infrastruktur und der AI Act sind keine isolierten Initiativen – sie sind Teil einer kohärenten Strategie, europäische Werte in digitale Systeme einzuschreiben.
Explainable AI ist dabei das technische Instrument, mit dem Europa seine Grundrechtsverpflichtungen in KI-Systeme übersetzt. Automatisierte Entscheidungen, die Menschen betreffen, müssen erklärbar sein – das leitet sich aus Artikel 22 der DSGVO ab und wird durch den AI Act operational gemacht. Wer Explainable AI als bürokratische Hürde begreift, hat das europäische Digitalprojekt nicht verstanden.
Das bedeutet umgekehrt: Unternehmen, die früh in echte Explainability-Kompetenz investieren, verschaffen sich einen Marktvorteil – nicht nur regulatorisch, sondern im Vertrauen ihrer Kunden und Partner. Transparenz ist kein Nachteil im Wettbewerb. Sie ist ein Argument.
Explainable AI ist 2025 kein Differenzierungsmerkmal mehr für besonders fortschrittliche Unternehmen. Es ist Baseline – rechtlich, ethisch und operativ. Die KI Regulierung macht das verbindlich, Agentic AI macht es dringlicher, und die gesellschaftliche Debatte über algorithmische Entscheidungen macht es sichtbar.
Die Frage, die ich Entscheiderinnen und Entscheidern stellen würde: Können Sie heute, auf Nachfrage einer Behörde oder eines betroffenen Kunden, erklären, wie Ihr wichtigstes KI-System zu seiner Entscheidung kommt? Wenn die Antwort zögert, ist das kein technisches Problem – das ist ein strategisches.
Explainable AI baut man nicht über Nacht. Die Unternehmen, die heute damit beginnen, werden 2026 compliance-fähig sein. Die anderen werden erklären müssen, warum sie es nicht waren – und das wird deutlich schwieriger zu erklären sein als jede KI-Entscheidung.
