OpenAI nennt sieben Prinzipien für unabhängige Sicherheitsprüfungen von KI-Modellen

OpenAI hat am 22. September unter dem Titel „Priorities and principles for effective third party assessments“ vier Prioritätsfelder und sieben Prinzipien für unabhängige Sicherheitsprüfungen vorgelegt. Autorin auf der Seite ist Lama Ahmad. Es sind Angaben des Unternehmens, eine externe Bestätigung liegt damit nicht vor. Glaubwürdig wird das Angebot erst, wenn Aussagen, Prüfer und Berichte öffentlich nachvollziehbar sind.

Die Aussage, ein Unternehmen arbeite mit externen Prüfern zusammen, wirkt zunächst wie ein Transparenzbeleg. Sie kann aber auch auf ein reines Grundsatzpapier verweisen: gut formuliert, aber ohne genannte Prüforganisation, ohne vorab festgelegte Aussagen, ohne Frist zur Fehlerbehebung und ohne Bericht, den Außenstehende nachlesen können. Ob aus den Prinzipien nachprüfbare Sicherheitsargumentationen werden, entscheidet sich an veröffentlichten Unterlagen.

OpenAI definiert Sicherheitsaussage und Sicherheitsargumentation selbst

OpenAI beschreibt Entwickler von Spitzenmodellen als Träger großer Verantwortung bei Training, Bewertung und Einsatz ihrer Systeme. Externe Prüfungen seien ein wichtiger Teil, diese Verantwortung auszubalancieren. Sie sollen mehr Input zur Sicherheit Künstlicher Intelligenz (KI) liefern, die Öffentlichkeit informieren und Rechenschaft gegenüber klaren, unabhängig gestützten Sicherheitsaussagen ermöglichen. Primärquelle ist der Beitrag Priorities and principles for effective third party assessments.

Das Unternehmen betont, es unterstütze unabhängige Prüfungen mit tiefem Zugang über Training, Bewertung und Einsatz hinweg. Prüfer sollen Annahmen hinterfragen, übersehene Risiken benennen und eigene Schlüsse zur Wirksamkeit der Schutzmaßnahmen ziehen. Laut OpenAI hat es bereits in verschiedenen Phasen mit externen Dritten gearbeitet und Prüfungen in die Praxis seines Preparedness Frameworks eingebunden. Außerdem unterstütze es Organisationen und Gesetzgebung, die strengere und rechenschaftspflichtige Verfahren fordern.

Als Beispiele für tiefen Zugang nennt OpenAI Informationen zu technischen Schutzmaßnahmen und den Einblick in die sichtbare Gedankenkette der Modelle (Chain of Thought). Hinzu kommen vertrauliche Daten sowie interner Einsatzzugang für die Vorfallbearbeitung und für Angriffstests gegen Überwachungssysteme. Diese Angaben stammen vom Unternehmen und sind keine Bestätigung durch Dritte.

Zwei Begriffe definiert OpenAI selbst. Eine Sicherheitsaussage (Safety Claim) ist eine spezifische Aussage über Fähigkeiten, Verhalten oder Schutzmaßnahmen eines Modells oder Systems. Sie ist sicherheitsrelevant, lässt sich gegen Belege prüfen und benennt Risiken, Bedingungen, Annahmen und Grenzen. Eine Sicherheitsargumentation (Safety Case) ist ein strukturiertes Argument mit Belegen, warum die Risiken einer bestimmten Aktivität angemessen beherrscht sind. Als Aktivitäten gelten Training, Bewertung und Einsatz. Die Argumentation verbindet Aussagen mit Belegen und macht Annahmen, Unsicherheiten und verbleibende Risiken ausdrücklich sichtbar.

Die Unterscheidung hat praktischen Wert. Wer nur hört, es gebe Schutzmaßnahmen, hat noch keine prüfbare Aussage. Erst mit Umfang, Bedingungen und Grenzen können Prüfer und Aufsicht eine Aussage gegen Belege halten. Dazu gehört eine nachvollziehbare Spur aus Aussage, Prüfer, Methode, Befund, Behebung und Veröffentlichung. Fehlt eines dieser Glieder, bleibt es bei Prinzipienrhetorik.

OpenAI stellt klar, dass die Prioritäten und Prinzipien auf unabhängige Prüforganisationen im privaten und gemeinnützigen Sektor für technische Sicherheit zielen. Sie ergänzen die Arbeit mit Regierungen zu Tests und Bewertungen, wo andere Rollen andere Ansätze erfordern können. Der Text gehört zur Linie „pace the frontier“. Je nach Fragestellung fallen Prüfungen unterschiedlich aus, und OpenAI erwartet parallele Prüfungen über Wochen bis Monate. Der Fokus sei längerfristig und unabhängig von einzelnen Markteinführungen, könne aber Einsatzentscheidungen informieren.

Vier Prioritätsfelder geben die Prüffragen vor

OpenAI schlägt vier Prioritätsfelder für tiefere Prüfungen vor, die zugleich als Raster für spätere Anbieterantworten taugen.

Erstes Feld: Sicherheitsargumentationen. Sie umfassen Training, Bewertung sowie internen und externen Einsatz. Gefragt ist Fachwissen zu Ausrichtung der Modelle (Alignment), Kontrolle und Überwachung, Cybersicherheit, chemischen und biologischen Missbrauchsrisiken und gezielten Angriffstests (Red Teaming). Argumentationen bestehen aus Aussagen zu Training, Fähigkeitsbewertungen und Schutzmaßnahmen und können ganz oder in Teilen geprüft werden. Mehrere Prüfer dürfen unterschiedliche Teile übernehmen. Leitfragen sind, ob die Belege tragen, ob die Bedingungen eingehalten wurden und ob die dringendsten Risiken abgedeckt sind. Hinzu kommt, ob die Einzelaussagen das Gesamtargument stützen, wo Lücken bleiben und ob das Training Anreize für Täuschung, Manipulation der Belohnung (Reward Hacking), destruktive Handlungen oder das Umgehen von Beschränkungen setzt.

Zweites Feld: kritische Schutzmaßnahmen. OpenAI beschreibt ein Bündel aus Schutzmaßnahmen auf Modellebene, Durchsetzung, IT-Sicherheit und Überwachung auf Fehlausrichtung, das mit den Fähigkeiten wachsen soll. Es bezieht sich auf Kontrollverlust und auf Missbrauch in Cyber-, Bio- und Chemiebereichen. Als Prüfebenen nennt das Unternehmen, ohne Rezepte zu liefern:

• teilweisen Einblick in das Modell (Grey-Box-Zugang) und Robustheit gegenüber gezielten Angriffstests,
• den Zugewinn an Fähigkeiten in Hochrisikobereichen,
• autorisierte, realistische Tests, wie Agenten mit Zugangskontrollen, abgeschotteten Testumgebungen sowie Erkennung und Reaktion zusammenspielen,
• Lücken in Monitoren für Fehlausrichtung und die Zuverlässigkeit der Überwachung der Gedankenketten bei steigenden Fähigkeiten,
• Überwachung, die sich nicht leicht abschalten lässt, sowie Schutzmaßnahmen, die den Fähigkeiten angemessen sind.

Dieser Artikel bleibt auf der Ebene der Governance, also der Steuerung und Verantwortung. Angriffsschritte, Umgehungsanleitungen und Schadcode kommen nicht vor. Zur Testlogik bei Agenten liefert der Beitrag zu Googles Red Team und agentischen Angriffsketten Hintergrund.

Drittes Feld: Fähigkeits- und Ausrichtungsbewertungen. Es betrifft Bewertungen der Fähigkeiten in den Kategorien Chemie und Biologie, Cybersicherheit und KI-Selbstverbesserung sowie Bewertungen schwerer Fehlausrichtungsrisiken. Werden Schwellenwerte überschritten und die Tests ausgereizt, müssen Abdeckung und Qualität erneuert werden. Geprüft wird, ob die Tests die Schwellendefinition abdecken und die Schwellen richtig gesetzt sind. Außerdem zählt, ob Tests aktualisiert werden, wenn Modelle Höchstwerte erreichen, und ob die neuen Tests fortgeschrittenere Fähigkeiten sinnvoll messen. Bei den Ausrichtungsbewertungen stellt sich die Frage, welche Verhaltensweisen oder Bedingungen fehlen. Hier zeigt sich, ob eine Bewertung gegen nachvollziehbare Schwellenwerte mit Aktualisierungslogik läuft oder nur behauptet wird.

Viertes Feld: unabhängige Untersuchung kritischer Vorfälle. OpenAI sieht in Vorfällen, in denen Modelle ohne Autorisierung handeln oder Kontrolle umgehen, eine Erkenntnisquelle für Schwächen bei Ausrichtung und Schutzmaßnahmen, auch ohne absichtlichen Missbrauch. Als Beispiel für die Einbindung Dritter erwähnt das Unternehmen einen Vorfall im Umfeld von Hugging Face. Gefragt sind Cyber-Forensik, Ausrichtungsexpertise, die Analyse von Gedankenketten in großem Maßstab sowie Personal und Zeit. Priorisiert werden zwei Fragen: welches Verhalten mit welchen Hauptfaktoren auftrat und ob Schutzmaßnahmen und Behebung ähnliche Vorfälle künftig wirksam mindern. Befunde können als Beleg für Ausrichtungsaussagen und für die Wirksamkeit der Behebung in die Sicherheitsargumentation einfließen. Zugleich räumt OpenAI ein, dass Vorfallbearbeitung sensible interne und fremde Daten berührt und Details für Veröffentlichung oder Zugang heikel sein können.

Öffentlich nachvollziehbar wären je Feld unterschiedliche Unterlagen:

• bei Sicherheitsargumentationen Umfang, Aussagen, geprüfte Teile und Bericht,
• bei Schutzmaßnahmen Methodenbeschreibung, Befundkategorien und Stand der Behebung,
• bei Bewertungen Testversionen sowie Hinweise auf Ausreizung und Aktualisierung,
• bei Vorfällen die Unabhängigkeit der Untersuchung, die Zeitlinie und öffentliche Lehren.

Von sieben Prinzipien führen vor allem vier zu öffentlich prüfbaren Unterlagen

OpenAI formuliert sieben Prinzipien für wirksame Prüfungen, doch nur ein Teil davon erzeugt von selbst eine öffentliche Spur.

1. Klarer Umfang und vorab registrierte Aussagen: Prüfungen beginnen mit gemeinsam vereinbartem Umfang, und Sicherheitsaussagen werden vor den Prüfaktivitäten registriert. Entwickler und Prüfer klären, ob Aussagen vorgelegt oder vom Prüfer vorgeschlagen und akzeptiert wurden. Für Risiken außerhalb des Umfangs soll ein Prozess bestehen, und die Schlussfolgerungen sollen benennen, was bewertet wurde und was nicht.
2. Verhältnismäßiger Zugang: Prüfer erhalten Zugang innerhalb rechtlicher, sicherheitsbezogener und das geistige Eigentum betreffender Grenzen. Wo direkter Zugang unpraktisch ist, treten eine benannte Vertretung oder datenschutzwahrende Verfahren an seine Stelle.
3. Transparente Methodik und Standards: Methoden, Kriterien und Unsicherheiten werden erklärt, Befunde von Interpretation getrennt.
4. Fachkenntnis und Unabhängigkeit: Prüfer legen finanzielle Interessenkonflikte, Beziehungen und frühere Beteiligung offen und schließen sich bei Befangenheit aus. Die Vergütung darf die Befunde nicht formen.
5. Informationssicherheit und Vertraulichkeit: Die Schutzmaßnahmen sind verhältnismäßig, gegebenenfalls mit Zugang auf unternehmensverwalteten Geräten oder in dafür vorgesehenen Räumen.
6. Umsetzbare Befunde und Zeit zur Behebung: Prüfer benennen konkrete Lücken, und der Entwickler erhält vor der Veröffentlichung angemessene Zeit zur Behebung. Eine feste Dauer nennt OpenAI nicht.
7. Verantwortungsvolle Veröffentlichung: Berichte sollen so offen wie möglich erscheinen, die redaktionelle Unabhängigkeit der Prüfer bleibt gewahrt. Schwärzungen sind möglich, substanzielle Schwärzungen und ihre Auswirkung werden vermerkt. Ist eine volle Veröffentlichung unmöglich, geht eine vertrauliche Meldung an Aufsichtsgremien.

Die Prinzipien 1, 4, 6 und 7 betreffen unmittelbar Unterlagen, die sich veröffentlichen lassen: Aussagen, Prüfer, Befunde und Bericht. Die Prinzipien 2 und 5 sichern Qualität und Schutz, bleiben ohne Veröffentlichung aber unsichtbar. Prinzip 3 verbindet beide Gruppen, denn ohne transparente Methodik bleiben Befunde undurchsichtig, und ohne Veröffentlichung bleibt die Methodik intern.

Behebungsfrist und Schwärzungen entscheiden über die Glaubwürdigkeit

OpenAI will Entwicklern, wo angemessen, vor der Veröffentlichung eine angemessene Frist zur Behebung einräumen, nennt aber keine feste Länge. Prüfer behalten ihre redaktionelle Unabhängigkeit, Entwickler können Schwärzungen sensibler Informationen beantragen. Prüfer vermerken, wo substanzielle Schwärzungen den Bericht beeinflussen. Ist volle Offenlegung unmöglich, kann eine vertrauliche Berichterstattung an Aufsichtsgremien die Rechenschaft stützen.

Dieses Bild wurde mit KI generiertProviderhiggsfieldModellgpt_image_2PromptOpen document folder with redacted black bars and a sticky note labeled remediation blurred, policy governance mood, photorealistic, no logos, no brand names, no readable text, 16:9

An dieser Stelle können folgenlose Grundsatzpapiere entstehen. Eine Frist ohne öffentlichen Hinweis, ob sie abgelaufen und die Lücke geschlossen ist, lässt Außenstehende im Dunkeln. Eine Schwärzung ohne Hinweis auf ihre Auswirkung hinterlässt eine Lücke im Bericht. Eine ausschließlich vertrauliche Meldung an ein Gremium kann berechtigt sein, ersetzt aber keine öffentliche Spur.

Aus Sicht der Redaktion ist eine Behebungsfrist nur vertretbar, wenn drei Bedingungen erfüllt sind. Erstens war der Umfang vorab registriert und bleibt nachvollziehbar. Zweitens bleibt der Prüfer unabhängig und benannt. Drittens ist nach Ablauf sichtbar, ob Befunde geschlossen, teilweise geschlossen oder offen veröffentlicht wurden, samt Hinweis auf substanzielle Schwärzungen. Fehlt die dritte Bedingung, verzögert die Frist lediglich.

OpenAI verweist im Umfeld auf frühere Arbeit zu externen Tests und auf ein Rahmenwerk zur Meldung von Fehlausrichtung. Der Beitrag Strengthening our safety ecosystem with external testing liefert Kontext zu den Prinzipien vom 22. September. Andere Labore wählen andere Unterlagen, die Anthropic-Pace-Metriken etwa sind ein anderer Weg zu öffentlicher Sichtbarkeit. Nachprüfbar wird eine Aussage nicht durch den Namen des Labors, sondern durch öffentliche Aussagen, fremde Verifikation und geschlossene Behebung.

Woran Unternehmen und Aufsicht in Deutschland, Österreich und der Schweiz Prüfungen messen können

Der AI Act der Europäischen Union zwingt Organisationen in Deutschland, Österreich und der Schweiz, Rollen, Dokumente und Nachweise zu klären, wobei dieser Text keine Rechtsberatung ersetzt. Prüfungen von Spitzenmodellen betreffen diese Organisationen indirekt. Sie zeigen, ob Anbieter allgemeiner KI-Modelle prüfbare Spuren anbieten, und liefern Fragen, die sich ohne Angriffsdetails stellen lassen. Zur Einordnung dienen die Transparenzpflichten ab dem 2. August, der Überblick zur KI-Regulierung und dem EU AI Act sowie die vier zentralen AI-Act-Fragen.

Als Prüfraster eignet sich die folgende Liste. Jede Ja-Antwort erhöht die Nachprüfbarkeit, jede Nein-Antwort ohne Begründung das Risiko, dass nur ein Grundsatzpapier vorliegt.

1. Vorab registrierte Aussagen: Umfang und Aussagen sind vor Prüfbeginn dokumentiert und später zitierbar, und es ist geklärt, ob sie vorgelegt oder vorgeschlagen wurden.
2. Prüfer benannt: Organisation oder Leitung sind nachvollziehbar, das Fachgebiet ist erkennbar.
3. Unabhängigkeit offengelegt: Finanzielle Beziehungen, frühere Beteiligung und Ausschlussregeln sind angesprochen.
4. Methodik transparent: Kriterien, Unsicherheiten und die Trennung von Befund und Interpretation sind erkennbar.
5. Prioritätsfeld erkennbar: Es ist klar, ob Sicherheitsargumentation, Schutzmaßnahmen, Bewertungen oder Vorfalluntersuchung geprüft wurden.
6. Bericht öffentlich oder begründet geschwärzt: Vorliegt Volltext, Zusammenfassung oder nur ein Pressetext, bei substanziellen Schwärzungen mit Hinweis auf die Auswirkung.
7. Behebungsfrist definiert: Der Zeitraum ist genannt, und der Stand der Behebung (geschlossen, teilweise, offen) ist nachvollziehbar.
8. Risiken außerhalb des Umfangs: Erkennbar ist, ob bedeutende Nebenbefunde weiterverfolgt wurden.
9. Aufsichtspfad bei Nichtveröffentlichung: Eine vertrauliche Meldung ist erwähnt, öffentliche Lehren folgen, soweit möglich.
10. Bezug zu Markteinführungen: Erkennbar ist, ob längerfristig geprüft wird oder nur vor einem Start.

Lauten die Antworten zu den Punkten 1, 2, 6 und 7 Nein, liegt lediglich ein Grundsatzpapier vor. Anbieterfragebögen sollten festlegen, dass eine Angabe zu externer Prüfung nur zählt, wenn Umfang, Prüfer, Berichtsstand und Stand der Behebung genannt sind. Unternehmen sollten Blogbeiträge von Prüfberichten trennen, Abrufdatum und Adresse speichern und Fehlendes notieren. Fehlen bei „externen Prüfern“ Name und Bericht, gehört der Fall an Recht, Sicherheit und Einkauf. Öffentliche Berichte können Befundkategorien und Behebung beschreiben, ohne Angriffsschritte zu wiederholen.

Aufsicht und Normungsgremien könnten gemeinsame Erwartungen an vorab registrierte Unterlagen anstoßen. Dazu gehören Mindestangaben in öffentlichen Zusammenfassungen: Umfang, Prüfertyp, Befundkategorien, Stand der Behebung und der Hinweis auf die Auswirkung von Schwärzungen. Regierungstests und private oder gemeinnützige Prüfungen sollten klar getrennt bleiben, wie OpenAI es selbst markiert. Internationale Sicherheitsstandards, die OpenAI als wünschenswert nennt, wären nützlich, wenn sie solche Spuren standardisieren und nicht bloß Grundsatzlisten.

OpenAI hat am 22. September Sicherheitsaussagen und Sicherheitsargumentationen definiert, vier Prioritätsfelder benannt, sieben Prinzipien formuliert und Gespräche mit mehreren externen Dritten erwähnt. Wer Anbieter beurteilt, dokumentiert, was sie behaupten, was öffentlich vorliegt und was fehlt. Diese Arbeit nehmen Prinzipien allein niemandem ab.