Metas Sicherheitsrahmen: Selbstverpflichtung fürs KI-Training – und was das AI Office prüfen darf

Stellen Sie sich einen Dienstagmorgen in einer Aufsichtsbehörde vor. Auf dem Tisch liegt ein Dokument, 51 Seiten, sauber formuliert, mit Schwellen, Prüfschritten und guten Absichten. Die erste Frage lautet nicht „Klingt das vernünftig?“, sondern: „Woran würden wir merken, dass es stimmt?“ Genau diese Frage stellt sich gerade bei Meta und dessen Sicherheitsrahmen.

Meta hat sein „Meta Superintelligence Scaling Framework“ aktualisiert, nachzulesen in Metas Blogpost vom 2. Oktober. Das PDF trägt die Bezeichnung „Version 2.1 | October 2026“; früher hieß das Dokument „Frontier AI Framework“. Zeitgleich gilt in der EU: Seit dem 2. August 2026 gelten die Durchsetzungsbefugnisse des AI Office aus dem AI Act, auch gegenüber Anbietenden von KI-Modellen mit allgemeinem Verwendungszweck (GPAI).

Das ist kein Konflikt, und es gibt nach unseren Quellen kein Verfahren gegen Meta. Es ist ein Kontrast. Hier die Pressemitteilung, dort die Aufsichtspraxis.

Meine Leitfrage lautet deshalb: Wie viel ist eine Selbstverpflichtung wert, wenn in Europa jetzt eine Behörde nachfragen darf? Ehrlich gesagt: mehr, wenn sie konkret ist. Und weniger, wenn man sie nur glauben kann. Schauen wir also genau hin, was Meta schreibt – und was davon sich prüfen ließe.

Was Meta laut Sicherheitsrahmen vor dem Trainingslauf prüfen will

Meta schreibt: „Recent events show that major AI risks can emerge before deployment.“ Welche Ereignisse gemeint sind, nennt das Unternehmen nicht. Wir spekulieren hier bewusst nicht darüber und ergänzen keine Beispiele.

Was Meta stattdessen ausführt: Ohne angemessene Schutzmaßnahmen könnten Modelle mit starken Cyberfähigkeiten Schwachstellen ihrer Umgebung ausnutzen, umgebende Infrastruktur kompromittieren und während Evaluation oder Training unautorisiert handeln. Deshalb erweitert Meta seine Loss-of-Control-Anforderungen um „AI containment during training and evaluation“. Im PDF taucht das als neue Kategorie katastrophaler Ergebnisse auf, „Loss of Control 3“.

Der Mechanismus ist zweistufig. Vor jedem Reinforcement-Learning-Trainingslauf bestimmt Meta, ob die Fähigkeiten des Modells seine Umgebung kompromittieren „could potentially“. Nur falls ja, verlangt der Sicherheitsrahmen vor Beginn des Laufs bestimmte Maßnahmen. Das ist der Knackpunkt: Die Schutzschicht hängt an einer Einschätzung, die Meta selbst trifft.

Was passiert im Ja-Fall? Laut Meta laufen die Umgebungen in Hochrisiko-Läufen („high-risk runs“) in Sandboxes. Diese werden über einen standardisierten internen Prozess auf Schwachstellen geprüft und freigegeben. Sandboxes mit Schwachstellen hoher Schwere werden vorher entschärft oder ausgeschlossen. Zusätzlich prüft Meta die Umgebungen auf Merkmale, die zu „reward gaming“ einladen, etwa eine ausnutzbare Bewertung oder unmögliche Aufgaben.

Das klingt handwerklich, und das meine ich als Kompliment. Ein Trainingslauf, der eine Aufgabe „löst“, indem er die Bewertung austrickst, ist ein altbekanntes Ärgernis – und eben auch ein Hinweis darauf, wie ein Modell mit Spielräumen umgeht.

Wichtig für die Einordnung: Das alles ist Metas Darstellung und Metas Selbstverpflichtung. Eine unabhängige Bestätigung, dass diese Prüfungen so laufen, liegt uns nicht vor. Das Dokument beschreibt Anforderungen, keine Prüfergebnisse.

Logs und Monitore: Metas Stopp-Mechanismus auf dem Papier

Der zweite Block betrifft das, was während des Laufs passiert. Meta schreibt, Modellausgaben einschließlich vollständiger Trajektorien und Chain of Thought würden in Echtzeit in sichere Logging-Systeme geschrieben, „that prevent them from being modified or deleted after the fact“. Wohlgemerkt: Auch das gilt laut Meta nur, wenn die Prüfung vor dem Lauf ein mögliches Kompromittieren der Umgebung ergibt.

Dazu kommen Monitore. Zusätzlich zu On-Call-Teams sollen automatisierte Systeme „all rollouts of high-risk models“ überwachen und „can halt a run“, wenn sie schweres Fehlverhalten oder Versuche erkennen, die Eindämmung zu verlassen. Die Monitore sollen Stresstests unterzogen werden. Das ist eine Ankündigung. Dass ein Monitor tatsächlich schon einmal einen Lauf angehalten hätte, schreibt Meta nicht, und wir behaupten es auch nicht.

Was wäre davon prüfbar? Eine Menge, zumindest im Prinzip. Ob Logs manipulationssicher sind, lässt sich technisch begutachten. Ob Monitore auf definierte Testfälle reagieren, lässt sich nachstellen. Ob die Sandbox-Freigabe nach einem standardisierten Prozess erfolgt, lässt sich anhand von Unterlagen nachvollziehen.

Und was nicht? Ob die Einstufung „Hochrisiko-Lauf“ im Einzelfall richtig getroffen wurde. Ob die Stresstests hart genug waren. Ob On-Call-Teams im Ernstfall schnell genug waren. Dafür braucht es Einblick – und genau dort wird die Frage nach Aufsicht praktisch.

Ich finde den Gedanken, Protokolle so abzulegen, dass sie sich nachträglich nicht frisieren lassen, ausgesprochen praxistauglich. Er folgt einer Logik, die wir immer wieder betonen: Überwachung, die außerhalb des überwachten Agenten sitzt, ist glaubwürdiger als Selbstauskunft. Ob Metas Aufbau diesem Prinzip im Detail entspricht, lässt sich aus dem Dokument allein nicht beurteilen. Hand aufs Herz: Ein Logging-System ist nur so vertrauenswürdig wie die Frage, wer an den Schlüsseln sitzt.

Open Weights: Meta benennt die Umgehungen selbst

Beim Thema Open Weights wird der Text überraschend offen. Zunächst der Nutzen, wie Meta ihn darstellt: Offene Gewichte seien eine knappe, wertvolle Ressource für die Forschung und erlaubten replizierbare Experimente. Forschende könnten Modelle feinjustieren, Meta nennt als Beispiel die medizinische Bildauswertung inklusive Röntgenanalyse und Krankheitserkennung. Dazu komme mehr Transparenz darüber, wie ein Modell funktioniert, und eine Ressource für Alignment- und Interpretierbarkeitsforschung.

Dann der Teil, den ich bemerkenswert finde. Meta hat die Diskussion darüber erweitert, wie sich ein Open-Weight-Modell nach dem Release verändern oder nutzen lässt. Wer die Gewichte besitzt, kann laut Meta resamplen, um eine Verweigerung zu umgehen, Ausgaben vorbefüllen (Prefill) oder das Verweigerungsverhalten per Fine-Tuning wegtrainieren. Wie das im Einzelnen geht, erklären wir bewusst nicht. Es genügt zu wissen: Meta räumt selbst ein, dass Schutzverhalten bei offenen Gewichten nicht in Stein gemeißelt ist.

Mal ehrlich: Das ist nicht selbstverständlich. Viele Sicherheitsdokumente beschreiben, was ein Modell ablehnt, und schweigen darüber, wie leicht sich diese Ablehnung später entfernen lässt. Dass Meta diese Lücke ausdrücklich benennt, verdient Anerkennung.

Die Konsequenz, die der Sicherheitsrahmen zieht: Die Nutzung ist im konkreten Deployment-Kontext zu berücksichtigen. Die Risikobewertung stützt sich laut Meta auf Threat Modeling, mit externen Fachleuten „where appropriate“, sowie auf den Austausch mit staatlichen Stellen und anderen Stakeholdern. Bei Bio- und Chemiewaffenrisiken bewertet Meta sowohl die Fähigkeiten, die ein Modell ermöglicht, als auch, inwieweit ein Deployment zur Weiterverbreitung beitragen würde.

Beachten Sie die Formulierung „where appropriate“. Wann externe Fachleute einbezogen werden, entscheidet Meta. Das ist keine Kritik an der Offenheit, sondern eine Beobachtung zur Reichweite.

Board-Komitee und externer Prüfer: was Meta ankündigt

Der Governance-Teil ist der, bei dem die Pressemitteilung am deutlichsten auf die Aufsichtspraxis trifft. Meta schreibt: „Over the coming months, we are making additional changes to our Framework and our overall approach to AI governance.“ Außerdem werde man ein neues KI-Komitee des Verwaltungsrats (Board of Directors) einrichten, das künftige Änderungen am Framework prüfen und „independently ensure“ solle, dass der Betrieb den selbst gesetzten Standards entspricht. Ein Datum nennt Meta nicht, Namen auch nicht.

Im PDF steht außerdem: Meta will den Sicherheitsrahmen mindestens alle zwölf Monate aktualisieren, oder früher, wenn die Angemessenheit oder Einhaltung wesentlich untergraben scheint. Updates werden vom Director of Alignment and Risk und vom Chief AI Officer bestätigt und veröffentlicht.

Nun zu den Zusagen aus Washington. Meta verweist auf Zusagen, die diese Woche im Weißen Haus gemacht wurden; einen offiziellen Wortlaut dieser Zusagen haben wir auf whitehouse.gov bis Redaktionsschluss nicht gefunden – wir stützen uns hier auf Metas Darstellung. Laut Meta greift das Framework-Update die Zusagen auf; sie betreffen Sicherheit bei Training und Evaluation, Open-Weight-Releases, Risikobewertung und Governance. Die eigenen Standards beschreibt Meta als „specific, verifiable commitments“.

Und der externe Prüfer? Hier lohnt Genauigkeit. Meta schreibt nicht, dass es einen externen Prüfer beauftragt hat. Meta schreibt, die geplanten Änderungen und die Framework-Änderungen stimmten mit den Zusagen überein, die „strong internal controls“ verlangten, „checked by an independent team inside the company and an independent auditor or evaluator outside it“. Das ist die Beschreibung des Inhalts der Zusagen, in Metas Worten. Einen Prüfer benennt Meta nicht.

Wir bei digital-magazin.de halten das für den entscheidenden Punkt der ganzen Aktualisierung. „Verifiable“ ist ein großes Wort. Verifizierbar für wen? Mit welchem Zugang? Unter welchen Bedingungen? Was externe Prüfungen leisten können, wenn man sie nachvollziehen kann, hängt eben von solchen Details ab: Wer prüft, was darf eingesehen werden, und was wird veröffentlicht?

Was heißt das für Sie? Vorerst: Lesen Sie Metas Update als das, was es ist – eine konkrete, lesenswerte Selbstverpflichtung mit offenen Fragen an genau der Stelle, an der Glaubwürdigkeit entsteht.

Washington wechselt das Vokabular

Dieses Bild wurde komplett mit KI generiertProviderhiggsfieldModellgpt_image_2PromptPhotorealistic photo of a data center corridor with GPU server racks behind glass doors, cool light, no people, no logos, no readable text, no watermarks, 16:9

Kurz zum Kontext in den USA, weil er sich zeitlich aufdrängt. Am 29. September 2026 wurde die Executive Order 14434 mit dem Titel „Inaugurating the Era of Super Intelligence“ erlassen. Was steht darin?

Bundesbehörden sollen „to the maximum extent permitted by law“ die Begriffe „Super Intelligence“ und „SI“ statt „Artificial Intelligence“ und „AI“ verwenden: in offizieller Korrespondenz, in der öffentlichen Kommunikation, auf Websites, in Berichten und in Policy-Dokumenten. Die Begründung laut Order: Die Terminologie solle die weitreichenden Fähigkeiten dieser Technologien abbilden.

Eine neue Definition gibt es vorerst nicht. Es gilt die bestehende gesetzliche KI-Definition (15 U.S.C. 9401(3)). Binnen 60 Tagen soll der Assistant to the President for Science and Technology dem Präsidenten einen Gesetzesformulierungsvorschlag für eine Bundesdefinition von „Super Intelligence“ vorlegen.

Und sonst? Die Order schafft keine einklagbaren Rechte. Sie enthält keine Sicherheitsregeln. Sie erwähnt weder Meta noch die Zusagen aus dem Weißen Haus.

Deshalb sei es deutlich gesagt: Einen Kausalzusammenhang zwischen dieser Order und Metas Update behaupten wir nicht. Beides fällt in dieselbe Woche, mehr nicht.

Meiner Einschätzung nach zeigt der Vergleich vor allem eines: Ein neues Vokabular ist noch keine Aufsicht. Man kann ein Ding „Super Intelligence“ nennen und trotzdem nichts darüber wissen, was im Trainingslauf passiert. Wörter sind schnell geändert. Prüfrechte sind es nicht.

Seit dem 2. August darf das AI Office nachfragen

In der EU liegt die Sache anders, nämlich nüchterner. Laut Kommission gilt: „The enforcement powers of the AI Office and the national competent authorities of the Member States apply from 2 August 2026“. Das AI Office gab es auch vorher. Neu ist, dass es seine Befugnisse jetzt einsetzen darf.

Die Zuständigkeit ist geteilt, wie die Kommission auf ihrer Seite zum Durchsetzungsrahmen des AI Act beschreibt. Das AI Office kümmert sich um Anbietende von GPAI-Modellen, einschließlich der fortschrittlichsten Modelle mit möglichen systemischen Risiken, um KI-Systeme desselben Anbieters oder derselben Unternehmensgruppe und um KI-Systeme in sehr großen Online-Plattformen und Suchmaschinen nach dem DSA. Der Europäische Datenschutzbeauftragte ist für EU-Institutionen zuständig, nationale Behörden für andere KI-Systeme.

Welche Werkzeuge hat das AI Office? Erstens Auskunftsersuchen (requests for information), entweder einfach oder förmlich per Kommissionsbeschluss. Zweitens, bei GPAI-Modellen: Das AI Office oder von ihm benannte unabhängige Fachleute können Modell-Evaluationen durchführen und Zugang zu Modellen verlangen. Drittens kann es Anbietende auffordern, Maßnahmen zu ergreifen, „including, if necessary, restrict the public availability of a model“.

Beachten Sie das „if necessary“. Das ist kein Automatismus, sondern die äußerste Stufe einer Skala.

Zu den Sanktionen: Stellt das AI Office einen vorsätzlichen oder fahrlässigen Verstoß fest, kann die Kommission per Beschluss Sanktionen verhängen. Die Höhe richtet sich nach Art, Schwere und Dauer. Vor einem Beschluss erhält der Anbieter Gelegenheit zur Stellungnahme. Wie Sanktionen im AI Act grundsätzlich aufgebaut sind, haben wir in einem eigenen Überblick erklärt. Die gesetzlichen Höchstrahmen sehen Sie hier:

Wichtig zur Lesart: Das sind Höchstrahmen, jeweils der höhere der beiden Werte, keine erwartbaren Bußen. Ein Verfahren des AI Office gegen Meta ist uns nach den Quellen nicht bekannt, und wir deuten keines an. Bei der Bemessung berücksichtigt die Kommission laut Art. 101 AI Act übrigens auch Verpflichtungen, die in einschlägigen Verhaltenskodizes eingegangen wurden. Interessant ist das, weil Art. 101 ausdrücklich Verpflichtungen aus einschlägigen Verhaltenskodizes nennt – nicht beliebige Firmen-Frameworks. Ob und wie Metas Framework dabei eine Rolle spielt, lassen wir offen.

Der Verhaltenskodex – und Meta steht nicht auf der Liste

Damit zum Instrument, das Selbstverpflichtung und Aufsicht in Europa verbinden soll. Laut Kommission ist der GPAI-Verhaltenskodex ein freiwilliges Instrument, erarbeitet von unabhängigen Fachleuten in einem Multi-Stakeholder-Prozess. Veröffentlicht wurde er am 10. Juli 2025. Die Kommission schreibt, der Kodex „operationalises“ die Pflichten für GPAI-Anbietende. Kommission und AI Board haben bestätigt, dass er ein angemessenes freiwilliges Instrument ist, um die Einhaltung nachzuweisen. Wer unterzeichnet, kann laut Kommission mit weniger Verwaltungsaufwand und mehr Rechtssicherheit zeigen, dass er die Pflichten erfüllt, als auf anderen Nachweiswegen.

Der Kodex hat drei Kapitel: Transparenz, Urheberrecht sowie Sicherheit. Das Sicherheitskapitel ist nur für die kleine Zahl von Anbietenden der fortschrittlichsten Modelle mit systemischem Risiko nach Art. 55 relevant. Was in dem Text im Einzelnen steht, haben wir in unserem Beitrag zum finalen Verhaltenskodex für Allzweck-KI aufbereitet.

Auf der Seite der Kommission zum Kodex stehen die Unterzeichnenden, Stand 31. Juli 2026 unter anderem Aleph Alpha, Amazon, Anthropic, Google, IBM, Microsoft, Mistral AI und OpenAI, dazu weitere wie Black Forest Labs, Cohere und ServiceNow. Meta steht nicht auf dieser Liste. Die Kommission weist allerdings darauf hin, dass manche Unterzeichnende nicht sofort erscheinen und die Liste laufend aktualisiert wird. Der Stand 31. Juli ist also eine Momentaufnahme, kein Schlusswort.

Ein Beispiel für einen Zwischenweg liefert xAI: Das Unternehmen hat nur das Kapitel Sicherheit unterzeichnet und muss die Einhaltung der Pflichten zu Transparenz und Urheberrecht daher „via alternative adequate means“ nachweisen.

Unsere Einordnung, ausdrücklich als solche gekennzeichnet und kein Kommissionszitat: Wer den Kodex nicht unterzeichnet, muss die Einhaltung der Pflichten ebenfalls belegen, eben auf anderem Weg. Ob Metas Sicherheitsrahmen dafür taugt, ist offen. Das PDF erwähnt weder den AI Act noch die EU noch den Kodex. Ob Metas Modelle als GPAI-Modelle mit systemischem Risiko gelten, hat niemand in unseren Quellen festgestellt, und wir unterstellen es nicht. Ebenso wenig sagen wir, Meta sei konform oder nicht konform.

Ehrlich gesagt finde ich genau das interessant. Metas Dokument ist in vielem konkreter als manches, was man von Selbstverpflichtungen kennt. Doch es ist ein Dokument für ein Publikum, das glauben soll. Der Kodex ist ein Dokument für ein Publikum, das nachfragen darf. Beides kann sich ergänzen, aber es ist nicht dasselbe.

Was heißt das für Sie?

Wenn Sie in Deutschland, Österreich oder der Schweiz arbeiten: Sie müssen kein Frontier-Labor sein, damit das Thema Sie betrifft. Es reicht, wenn Ihr Unternehmen ein Open-Weight-Modell feinjustiert und einsetzt. Das ist unsere Einordnung, keine Rechtsberatung, und im Einzelfall muss Ihre Rechtsabteilung oder eine fachkundige Beratung prüfen, was für Sie gilt.

Der Gedanke dahinter ist einfach. Meta schreibt selbst, dass sich Verweigerungsverhalten per Fine-Tuning wegtrainieren lässt. Wer ein Modell anpasst und in ein Produkt einbaut, trägt Verantwortung für sein eigenes Deployment. Das Schutzversprechen des ursprünglichen Anbieters begleitet das Modell nicht automatisch durch jeden Eingriff.

Wir bei digital-magazin.de würden deshalb vier praktische Fragen stellen:

• Woher stammt das Modell, und unter welchen Bedingungen wurde es veröffentlicht?
• Welche Sicherheitsdokumentation liegt vor, und was davon ist prüfbar statt nur behauptet?
• Wer prüft das Verhalten nach dem eigenen Fine-Tuning?
• Kennen Sie den Beschwerdekanal des AI Office für nachgelagerte Anbietende?

Zum letzten Punkt: Das AI Office hat laut Kommission einen Kanal für Anbietende eingerichtet, die ein GPAI-Modell eines anderen Anbieters in ihr KI-System integrieren. Beschwerden betreffen die Art. 53 bis 55 AI Act. Daneben gibt es ein AI-Act-Beschwerde-Tool und ein Whistleblower-Tool. Wissen Sie, dass es sie gibt, bevor Sie sie brauchen.

Eine Randnotiz zu Terminen, laut Kommission: Hochrisiko-Regeln für KI-Systeme nach Anhang III gelten ab 2. Dezember 2027, für in regulierte Produkte eingebettete Hochrisiko-Systeme ab 2. August 2028. Das ist eine andere Baustelle als die GPAI-Pflichten, aber wer jetzt Dokumentation aufbaut, hat später weniger Hektik.

Und jetzt?

Zurück zum Dienstagmorgen in der Behörde. „Woran würden wir merken, dass es stimmt?“ Das ist keine Misstrauensfrage. Es ist die normale Frage jeder Aufsicht, jedes Audits, jeder gründlichen Redaktion.

Meine Haltung dazu: Eine Selbstverpflichtung ist ein guter Anfang und ein schlechtes Ende. Anfang, weil sie zeigt, was ein Unternehmen für richtig hält. Schlechtes Ende, weil sie nichts darüber sagt, ob jemand nachsehen kann. Metas Update gehört für mich zu den lesenswerten Anfängen: Prüfung vor dem Lauf, Logs, die sich laut Meta nicht nachträglich ändern lassen, Monitore, die einen Lauf stoppen können, und ein offener Absatz über die Grenzen von Open Weights. Das verdient Respekt.

Doch es ist Metas Wort über Metas Prozesse, ohne Datum für das Board-Komitee und ohne benannten externen Prüfer. Transparenz, die sich prüfen lässt, ist mehr wert als Transparenz, die man glauben muss.

Wie sehen Sie das? Würde Ihnen eine ausführliche Sicherheitsdokumentation genügen, oder wollen Sie wissen, wer sie gegengelesen hat? Schreiben Sie uns, wir sind gespannt auf Ihre Sicht. Wir bei digital-magazin.de bleiben an dem Thema dran, sobald es Neues zu Komitee, Prüfer oder Kodex gibt.