Kontrollverlust bei KI: Kommission hält Sondersitzung des Scientific Panel ab – Fragen an Modellanbieter erarbeitet

Am 9. Oktober hat die Kommission eine Sondersitzung ihres Scientific Panel zur KI-Sicherheit abgehalten. Das ist die Nachricht. Interessanter finde ich aber einen einzelnen Satz aus der Pressemitteilung: Das Panel untersuche „recent loss-of-control incidents“, also, sinngemäß übersetzt, jüngste Vorfälle eines Kontrollverlusts bei KI-Systemen.

Den Wortlaut finden Sie in der Pressemitteilung der Kommission. Dort steht: „The panel has been investigating recent loss-of-control incidents, and together with the Commission’s AI Office, has worked on a set of questions for the companies that developed the models involved.“ Das Panel hat also gemeinsam mit dem AI Office Fragen für die Firmen erarbeitet, die die betroffenen Modelle entwickelt haben.

Welche Vorfälle gemeint sind, welche Modelle und welche Firmen, verrät die Kommission nicht. Ergebnisse der Sitzung hat sie, Stand 12. Oktober, ebenfalls nicht veröffentlicht. Das sollten Sie von Anfang an im Kopf behalten, damit aus einer Ankündigung keine Faktenlage wird.

Meine These: Die eigentliche Nachricht ist nicht die Sitzung. Sie lautet, dass Kontrollverlust jetzt ein Aufsichtsthema mit Formular ist. Aus meiner Sicht ist das der erste sichtbare Praxistest der Aufsicht über Allzweck-KI-Modelle (GPAI). Noch ohne Verfahren, aber mit Fragen.

Was die Kommission mitteilt – und was nicht

Zunächst zur ersten Ebene, den offiziellen Angaben. Die Kommission teilt mit, dass sie am 9. Oktober eine Sondersitzung des Scientific Panel on artificial intelligence abhält. Henna Virkkunen, Exekutiv-Vizepräsidentin für technologische Souveränität, Sicherheit und Demokratie, nehme an der Sitzung teil. Außerdem kündigt die Kommission an, das Panel werde ihr bei dem Treffen Empfehlungen zu Sicherheits- und Schutzrisiken von Frontier-KI vorstellen. Der Inhalt dieser Empfehlungen ist unveröffentlicht.

Zum Panel selbst schreibt die Kommission: Es bringe 60 weltweit führende unabhängige Fachleute zusammen, die das AI Office und nationale Behörden zu systemischen Risiken, Modellklassifizierung, Evaluierungsmethoden und grenzüberschreitender Marktüberwachung beraten.

Dazu kommt ein Zitat von Virkkunen aus der Pressemitteilung. Sinngemäß übersetzt sagt sie: Die EU habe das weltweit erste Gesetz, das systemische Risiken von KI behandle, und man brauche wissenschaftlichen Input auf der Höhe der Zeit. KI-Fähigkeiten entwickelten sich rasant, aber mit einem starken Rechtsrahmen, konsequenter Durchsetzung und den besten wissenschaftlichen Köpfen könne Europa beim Thema sichere KI führen. Im Original: „The EU has the first law in the world that addresses systemic risk from AI, and we need state-of-the-art scientific input. AI capabilities are advancing rapidly, but with a strong legal framework, decisive enforcement and the best scientific minds supporting this work, Europe can lead in ensuring safe and secure AI.“

Wie lese ich dieses Zitat? Aus meiner Sicht ist „decisive enforcement“ zunächst Rahmen-Rhetorik. Pressemitteilungen sprechen gern in großen Bögen, und ein angekündigtes Verfahren steckt in diesem Satz nicht. Wer darin eine Drohung hört, hört mehr, als dort steht.

Bemerkenswert finde ich trotzdem etwas anderes: Die Kommission nennt Wissenschaft und Durchsetzung in einem Atemzug. Das ist eine Verknüpfung, die man nicht überlesen sollte. Sie deutet an, dass die Expertise des Panels nicht im Elfenbeinturm bleiben, sondern der Aufsicht dienen soll. Wie eng diese Verbindung im Alltag tatsächlich ausfällt, sagt das Zitat nicht. Das ist meine Einschätzung, keine Information aus der Mitteilung. Belegt ist nur der Satz selbst, und der verspricht nichts Konkretes.

Wir bei digital-magazin.de haben die Pressemitteilung im Wortlaut gelesen. Was sie nicht enthält, ist fast so aufschlussreich wie das, was drinsteht:

• Welche Vorfälle mit Kontrollverlust das Panel untersucht, nennt die Kommission nicht.
• Welche Modelle betroffen sind, bleibt offen.
• Die Firmen, an die sich die Fragen richten, werden nicht genannt.
• Ergebnisse der Sondersitzung liegen nicht vor.
• Die Empfehlungen des Panels sind nicht veröffentlicht.
• Der Fragenkatalog ist unveröffentlicht, ebenso Versand und Fristen.

Das ist keine Kritik, sondern eine Bestandsaufnahme. Pressemitteilungen sind Ankündigungen, keine Protokolle. Wer aus ihnen mehr herausliest, erfindet.

Wer im Scientific Panel sitzt und was es darf

Wer ist dieses Panel überhaupt? Laut Panel-Seite der Kommission ist es ein „expert advisory body established by the European Commission in accordance with Article 68 of the AI Act in conjunction with Commission Implementing Regulation (EU) 2025/454“. Es ist also ein Beratungsgremium auf Grundlage des AI Act und einer Durchführungsverordnung.

Berufen wurden 60 unabhängige Fachleute. Sie sollen die Umsetzung und Durchsetzung des AI Act direkt unterstützen. Die Kernaufgaben nennt die Kommission so: das AI Office auf systemische Risiken aufmerksam machen, zur Einstufung und Bewertung von GPAI-Modellen beraten und Marktüberwachung unterstützen.

Die Fachgebiete sind breit gefächert:

• Fähigkeitsbewertung von GPAI-Modellen
• Methoden der Risikobewertung
• technische Risikominderung
• Missbrauchs- und Einsatzrisiken
• Cyber-Offensivrisiken
• Cybersicherheit der Anbietenden
• emergente systemische Risiken
• Compute-Messung

Auch die Auswahlregeln sind bemerkenswert. Höchstens drei Personen je Staatsangehörigkeit dürfen im Panel sitzen, und die Kommission achtet auf Geschlechterbalance. Die Amtszeit beträgt 24 Monate und ist verlängerbar. Die Mitglieder arbeiten in persönlicher Eigenschaft, nicht als Vertretende ihrer Arbeitgeber. Die meisten kommen aus der Wissenschaft, andere aus öffentlichem Sektor nahen Organisationen, unabhängiger Forschung und Zivilgesellschaft. Vertraulichkeits- und Verpflichtungserklärungen sind unterschrieben. Vorsitz und Stellvertretung nominieren die Mitglieder, die Kommission wählt aus.

Wichtig ist die Abgrenzung. Das Panel ist nicht das AI Office, nicht das AI Board und nicht das Advisory Forum. Das Forum liefert breiteren Input von Industrie, Zivilgesellschaft und Wissenschaft an Kommission und AI Board, das Panel ergänzt es mit unabhängiger Fachexpertise. Eine Sanktionsbefugnis hat das Panel nach den vorliegenden Angaben nicht. Es berät und warnt. Aufsichtsseite für GPAI-Modelle ist die Kommission beziehungsweise ihr AI Office.

Diese Trennlinie wird in der Debatte gern verwischt. Wie sich beratende Expertise von aufsichtsrechtlicher Zuständigkeit unterscheidet, erklärt unser Beitrag über ein deutsches Evaluierungsinstitut, das keine Aufsicht ist. Beim Panel gilt dasselbe Prinzip: Wer Risiken erkennt, entscheidet nicht automatisch über Konsequenzen.

Ich finde das keinen Mangel. Ein Gremium, das unabhängig warnen soll, funktioniert vermutlich besser ohne eigene Durchgriffsrechte. Der Knackpunkt ist, ob die Aufsichtsseite die Warnungen aufgreift und wie sichtbar sie das tut.

Zwei Begriffe fallen in dieser Debatte ständig, und beide klingen abstrakter, als sie sind. Ein GPAI-Modell ist, vereinfacht gesagt, ein großes Allzweck-Modell. Es wurde nicht für eine einzige Aufgabe gebaut und steckt deshalb in sehr vielen Anwendungen: im Chatfenster, in der Bürosoftware, im Kundenservice, in Werkzeugen für Entwickelnde. Oft merken Nutzende gar nicht, dass darunter ein solches Modell arbeitet.

Ein systemisches Risiko meint dann Gefahren, die über den Einzelfall hinausgehen. Ein Fehler in einer einzelnen Anwendung ist ärgerlich. Ein Fehler oder Missbrauch an der Quelle kann dagegen viele Anwendungen gleichzeitig betreffen. Genau deshalb schaut die Aufsicht auf die Modelle selbst und nicht nur auf deren Einsatz im Einzelnen.

Was bedeutet das für Sie im Alltag? Vermutlich, dass Sie sich öfter fragen sollten, welches Modell im Hintergrund eigentlich arbeitet. Wer das nicht weiß, kann auch nicht einschätzen, ob eine Meldung über ein Modell das eigene Produkt berührt.

Der Fragenkatalog zum Kontrollverlust: angekündigt, nicht veröffentlicht

Belegt ist ein einziger Satz. Das Panel hat laut Kommission gemeinsam mit dem AI Office eine Reihe von Fragen für die Firmen erarbeitet, die die betroffenen Modelle entwickelt haben. Mehr steht in der Pressemitteilung nicht.

Nicht belegt ist alles Weitere: Inhalt der Fragen, Zahl der Adressaten, Versandzeitpunkt, Antwortfristen. Die Kommission sagt auch nicht, dass die Fragen verschickt wurden oder dass Antworten vorliegen. Wer das behauptet, geht über die Quelle hinaus.

Was folgt daraus? Zunächst nur, dass ein Instrument existiert. Ob es scharf ist, ob es bloße Information abfragt oder Folgen haben kann, lässt sich aus den veröffentlichten Angaben nicht ablesen. Ein Verfahren ist nicht angekündigt.

Und doch bleibt der Satz bemerkenswert. Eine Aufsicht, die öffentlich sagt, sie habe Fragen zu Vorfällen mit Kontrollverlust formuliert, signalisiert, dass sie das Thema als eigenständigen Prüfgegenstand versteht. Dass die Fragen selbst unter Verschluss bleiben, finde ich für diesen frühen Zeitpunkt nachvollziehbar, auch wenn es die Einordnung erschwert. Es bedeutet aber, dass Außenstehende die Qualität der Fragen derzeit nicht beurteilen können. Hand aufs Herz: Ein Katalog, den niemand sieht, lässt sich schwer bewerten.

Was Virkkunen im dpa-Interview sagte

Jetzt zur zweiten Ebene. Sie stammt nicht aus der Pressemitteilung, sondern aus einem Interview. Die dpa-Meldung auf SZ.de vom 9. Oktober trägt den Titel „KI-Angriffe: Brüssel fordert Infos von OpenAI und Anthropic“. Das Interview mit Virkkunen fand im Netzwerk European Newsroom (enr) statt. Alles, was folgt, ist also Berichterstattung der dpa über Aussagen Virkkunens. Es ist keine Mitteilung der Kommission.

Die dpa leitet ihre Meldung, so schreibt sie selbst, mit Cyberangriffen durch außer Kontrolle geratene KI-Systeme ein. Details dazu nenne ich bewusst nicht. Sie lassen sich über die vorliegenden Quellen nicht belegen.

Was berichtet die dpa konkret? Laut dpa hat die Kommission Auskünfte vom ChatGPT-Entwickler OpenAI und vom Claude-Entwickler Anthropic verlangt. Das sagte Virkkunen der dpa in dem enr-Interview. Auch mehrere chinesische Firmen wurden laut dpa verbindlich aufgefordert, weitere Informationen zu teilen. Namen nennt die dpa dazu nicht, und ich rate hier nicht.

Dazu kommt ein Hintergrund. Laut dpa hatte die Kommission zuvor bestätigt, Auskunftsersuchen an mehr als 30 KI-Firmen gesendet zu haben, ohne Firmen zu nennen. Neben Bedenken wegen möglicher Urheberrechtsverletzungen geht es dabei laut dpa auch um Sicherheitsrisiken. Das ist wichtig, weil die in der dpa-Meldung genannte Zahl von mehr als 30 Firmen leicht falsch gelesen wird. Die dpa-Angabe lese ich so, dass sie nicht für „30 Firmen wegen Kontrollverlust“ steht, denn laut dpa geht es dabei neben Sicherheitsrisiken auch um Bedenken wegen möglicher Urheberrechtsverletzungen. Die dpa verknüpft sie mit einem breiteren Themenbündel.

Ob diese Auskunftsersuchen mit dem Fragenkatalog des Panels identisch sind, sagen weder die Kommission noch die dpa. Das ist offen. Es wäre naheliegend, beides gedanklich zusammenzuschieben. Belegt ist es nicht.

Interessant ist auch ein Gedanke zur Branche. Laut dpa sagte Virkkunen, Warnungen aus der Branche könnten Teil des Marketings sein. Wörtlich zitiert die dpa sie so: „Aber wenn ein Unternehmen sagt, dass sein System sehr gefährlich ist, sollte es dieses meiner Meinung nach natürlich nicht auf den Markt bringen.“

Beachten Sie die drei Wörter „meiner Meinung nach“. Das ist eine persönliche Einschätzung im Interview. Es ist kein Verbot, keine Rechtsfolge und keine Ankündigung. Ein Verfahren ist nicht angekündigt. Wer aus dem Satz ein Marktverbot herausliest, überdehnt ihn.

Noch ein wörtliches Zitat aus dem dpa-Bericht: „Derzeit konzentrieren sich die Risiken hauptsächlich auf den Bereich der Cybersicherheit“, sagte Virkkunen. Das passt zu den Fachgebieten des Panels, zu denen Cyber-Offensivrisiken und die Cybersicherheit der Anbietenden gehören. Ob sie diese Verbindung selbst zieht, geht aus dem Zitat nicht hervor.

Kontrollverlust als Aufsichtsthema – unsere Einordnung

Dieses Bild wurde komplett mit KI generiertProviderhiggsfieldModellgpt_image_2PromptA researcher's hand next to a big red emergency stop button connected to a computer cluster, symbolizing control over AI systems, dim lab lighting. Photorealistic editorial magazine photo, natural light, 16:9. Absolutely no text, no letters, no numbers, no logos, no brand marks, no recognizable products of real brands.

Warum bestehe ich so auf der Trennung der Ebenen? Weil sich hier drei Dinge leicht vermischen. Die Kommission hat Fragen angekündigt. Virkkunen hat laut dpa Auskünfte von bestimmten Firmen erwähnt. Und niemand hat bislang erklärt, wie beides zusammenhängt. Setzt man diese Teile unbedacht zusammen, entsteht eine Geschichte, die keine Quelle trägt.

Wir bei digital-magazin.de halten deshalb die Grenzen fest. Pressemitteilung ist Pressemitteilung. Interview ist Interview. Und was keiner der beiden Texte hergibt, bleibt offen.

Meine These bleibt dieselbe: Kontrollverlust ist jetzt ein Aufsichtsthema mit Formular. Das klingt trocken, ist aber ein Einschnitt. Bis vor Kurzem war Kontrollverlust vor allem ein Begriff aus Fachdebatten und Szenarien. Wenn eine Aufsichtsbehörde dazu Fragen formuliert, wird daraus ein Gegenstand, zu dem Firmen Fragen gestellt bekommen. Ob und wie verbindlich diese Fragen sind, ist offen. Das ändert die Dynamik. Es geht dann um dokumentierbare Auskünfte statt um Selbstdarstellung.

Aus meiner Sicht ist das der erste sichtbare Praxistest der GPAI-Aufsicht. Er läuft noch ohne Verfahren, aber mit Fragen. Ich finde das einen vernünftigen Anfang. Man fragt zuerst, bevor man urteilt. Der Haken: Solange weder Fragen noch Antworten öffentlich sind, bleibt die Öffentlichkeit Zuschauerin eines Vorgangs, den sie nicht prüfen kann.

Und Virkkunens Satz zur Marketing-Frage? Er zeigt meiner Einschätzung nach eine gewisse Skepsis gegenüber Selbstauskünften der Branche. Mehr lese ich nicht hinein. Eine Haltung ist noch keine Aufsichtspraxis.

Panel, AI Office, Behörden: wie die GPAI-Aufsicht zusammenspielt

Wer macht eigentlich was? Eine Faustregel hilft. Das Panel berät und warnt. Die Aufsicht über GPAI-Modelle liegt bei der Kommission beziehungsweise ihrem AI Office. Nationale Behörden werden vom Panel ebenfalls beraten, vor allem bei grenzüberschreitender Marktüberwachung.

Laut dpa prüft das KI-Amt der EU-Kommission seit August, ob große Modelle ausreichend kontrolliert werden. Das ist die Darstellung der dpa, keine Aussage aus der Pressemitteilung. Sie legt nach unserer Lesart nahe, dass die Sondersitzung vom 9. Oktober kein isolierter Termin ist, sondern in eine laufende Beobachtung fällt. Wie weit diese Prüfung gediehen ist, ist öffentlich nicht bekannt.

Für die praktische Seite lohnt ein Blick auf den Zugang zu den Modellen. Wie spät europäische Stellen Zugang zu Frontier-Modellen bekommen, zeigt unser Beitrag zum Zugang europäischer Stellen zu Frontier-Modellen. Wer Risiken bewerten soll, braucht Material, und das ist keine Selbstverständlichkeit.

Ebenso aufschlussreich ist der Blick auf die nationale Ebene. Wie nationale Behörden AI-Act-Pflichten lesen, zeigt unser Beitrag am Beispiel der französischen Datenschutzbehörde. Er behandelt zwar ein anderes Thema, macht aber sichtbar, dass Auslegung und Umsetzung nicht überall identisch ausfallen.

Das Zusammenspiel hat damit mehrere Schichten: ein Beratungsgremium, eine Aufsichtsseite auf EU-Ebene, nationale Stellen und ein Forum für breiteren Input. Die Pressemitteilung beschreibt, wie diese Schichten gedacht sind. Wie sie bei einem konkreten Kontrollverlust-Fall ineinandergreifen, zeigt sie nicht.

Was offen ist

Offen ist, welche Vorfälle das Panel untersucht. Die Kommission spricht von „recent loss-of-control incidents“, ohne sie zu benennen.

Offen ist, um welche Modelle es geht und an welche Firmen sich die Fragen des Panels richten.

Offen ist der Inhalt des Fragenkatalogs. Ebenso offen sind Versand, Antwortfristen und die Frage, ob schon Antworten vorliegen.

Offen ist, ob der Fragenkatalog des Panels mit den Auskunftsersuchen identisch ist, von denen Virkkunen laut dpa sprach. Weder die Kommission noch die dpa äußern sich dazu.

Offen ist der Inhalt der Empfehlungen, die das Panel der Kommission vorstellen wollte, und was die Sondersitzung am 9. Oktober ergeben hat. Stand 12. Oktober hat die Kommission dazu nichts veröffentlicht.

Offen ist schließlich, ob aus alledem Verfahren folgen. Angekündigt ist keines. Mehr lässt sich seriös nicht sagen.

Woran Sie erkennen, ob aus Fragen Verfahren werden

Niemand kann voraussagen, wie es weitergeht, und ich versuche es auch nicht. Man kann aber beobachten, welche Signale kommen. Diese Punkte lohnen den Blick:

• Veröffentlichte Empfehlungen des Scientific Panel oder eine Zusammenfassung davon
• Mitteilungen der Kommission oder des AI Office zu den Auskunftsersuchen
• Antworten oder Stellungnahmen der angefragten Anbietenden
• Veröffentlichungen zu Warnungen, die das Panel an das AI Office richtet
• Hinweise der Kommission, wie sich Panel-Fragen und Auskunftsersuchen zueinander verhalten

Termine nenne ich dazu nicht, weil keine bekannt sind. Entscheidend ist die Quelle: Erst wenn solche Signale offiziell vorliegen, trägt eine Aussage über das weitere Vorgehen.

Was heißt das für Sie, wenn Ihr Unternehmen GPAI-Modelle einsetzt? Zunächst die ruhige Einordnung: Aus der Pressemitteilung zur Sondersitzung ergibt sich nach unserer Lesart keine neue Pflicht für Anwendende. Sinnvoll ist aber ein nüchterner Blick auf die eigene Lage. Wissen Sie, welche Modelle Sie von welchen Anbietenden nutzen? Gibt es bei Ihnen eine Stelle, die Mitteilungen der Aufsicht verfolgt? Und könnten Sie bei einem Vorfall erklären, wie Sie reagieren würden? Das ist eine Orientierung, keine Rechtsberatung. Für verbindliche Einschätzungen wenden Sie sich bitte an fachkundige juristische Beratung.

Ein paar Hausaufgaben lassen sich unabhängig vom Ausgang der Sache erledigen, besonders für Teams, die Modelle über Schnittstellen (APIs) nutzen. Erstens: Verschaffen Sie sich einen Überblick, welche Modelle in welchen Produkten und Prozessen laufen. Das klingt banal, fehlt aber erstaunlich oft. Zweitens: Klären Sie mit den Anbietenden, wie diese über sicherheitsrelevante Vorfälle informieren, an wen und auf welchem Weg. Drittens: Benennen Sie intern eine Ansprechperson, die Mitteilungen der Aufsicht verfolgt und weiterleitet. Eine Rechtspflicht behaupte ich damit nicht. Es ist schlicht eine Frage der Handlungsfähigkeit.

Ein klar hypothetisches Beispiel: Stellen Sie sich vor, eine Produktverantwortliche liest die Meldung über die Sondersitzung und fragt am nächsten Morgen ihr Team dreierlei. Welche Modelle stecken in unseren Funktionen? Wissen wir, wie unsere Anbietenden uns bei einem Vorfall informieren würden? Und wer bei uns würde eine Mitteilung der Aufsicht überhaupt bemerken? Wenn auf alle drei Fragen Schweigen folgt, hat das Team seine Hausaufgabenliste. Mehr braucht es für den Anfang nicht, und Aufregung schon gar nicht.

Und jetzt?

Ich gebe zu: Mich beschäftigt weniger die Sitzung als der Moment, in dem die Fragen sichtbar werden, falls sie das je tun. Dann wüssten wir, was die Aufsicht unter Kontrollverlust versteht und was sie von den Firmen wissen will.

Bis dahin bleibt vieles Vermutung, und die möchte ich nicht als Wissen ausgeben. Wir bei digital-magazin.de halten die Quellen auseinander und melden uns, sobald es Belegbares gibt.

Die Frage, die ich mit Ihnen teilen möchte: Wie viel Transparenz ist bei einer Aufsicht, die noch fragt statt urteilt, angemessen, und wann wird Schweigen zum Problem?