„Wir haben Third Parties.“ Das kennen Sie aus Lab-Blogs, Policy-Briefings und Vendor-Antworten. Es klingt nach Kontrolle. Oft ist es ein Label ohne Spur. Anthropic hat am 18.9. etwas Spezifischeres angekündigt: eine Partnerschaft mit Accenture für Embedded Evaluation – Evaluatoren, die laut Anthropic innerhalb des Labs arbeiten sollen, mit Zugang vergleichbar Mitarbeitenden. Geführt wird das von Faculty, Accentures spezialisiertem AI-Bereich. Scope laut Anthropic: Models evaluieren und red-teamen, Alignment Assessments, Safeguards testen.

Die These dieses Textes ist unbequem und klar: „Wir haben Third Parties“ ist kein Track. Glaubwürdig wird Embedded Evaluation erst, wenn Evaluatoren Mitarbeiter-Zugang, Incident-Reporting und öffentlich nachvollziehbare Blindspot-Findings behalten – sonst liefert das nächste Lab nur Prinzipien-PDFs ohne Inside-Tracks. Eine Milliarde Dollar Kapazität ist beeindruckend. Sie ersetzt keine Artefakte.

Ich finde: Genau hier trennt sich Einordnung von Alarmismus. Niemand muss die Partnerschaft verteufeln. Niemand sollte sie aber als bereits gelöste Accountability feiern. Anthropic selbst schreibt, Embedded Evaluation sei neu und viele Details noch in Arbeit. Das ist ehrlich. Und genau deshalb zählen die Spuren, die Außenstehende später prüfen können – nicht die Pressemitteilung vom 18.9.

Wir bei digital-magazin.de sortieren Lab- und Partner-Claims von öffentlichen Tracks. Der AI Act erzeugt in DACH Einordnungsdruck auf Rollen, Nachweise und Transparenz – ohne dass dieser Artikel eine Rechtsberatung wäre. Was Anthropic und Accenture beschreiben, ist ein Angebot an das Evaluation-Ökosystem. Ob daraus Inside-Tracks werden oder nur ein teures Selfie mit Consultant-Logo, entscheidet sich an Zugang, Reporting und Publikationsdisziplin.

Was „Embedded Evaluation“ laut Anthropic heißen soll

Anthropic rahmt die Partnerschaft als Schritt zur Zusage aus dem CEO-Essay „We Must Pace the Frontier“: Evaluatoren innerhalb einzubetten. Das ist Anthropic-Claim und Kontext zugleich. Embedded Evaluation soll sich, so Anthropic, von heutigen externen Evaluatoren unterscheiden. Externe Teams kommen oft punktuell, mit begrenztem Fenster, über Verträge und NDAs. Embedded Evaluatoren sollen laut Anthropic innerhalb der AI-Company arbeiten – mit Zugang vergleichbar einem Mitarbeitenden.

Was soll dieser Zugang laut Anthropic praktisch heißen? Models in Training beobachten, wie sie Gestalt annehmen. Build- und Deploy-Entscheidungen verfolgen. Direkt mit Mitarbeitenden sprechen. Aus dieser Position heraus soll bewertet werden, wie das Unternehmen operiert, ob Safety Commitments gehalten werden und wo Blindspots liegen. Evaluatoren sollen Incidents melden können und der Öffentlichkeit eine informiertere Darstellung von Nutzen und Risiken geben.

Lesen Sie das als Lab-Darstellung. Nicht als Audit-Bericht. Anthropic betont ausdrücklich: Unabhängige Embedded Evaluators reduzieren Anthropics Accountability nicht. Safety bleibe Anthropics Verantwortung. Das ist eine wichtige Klarstellung – und zugleich die Stelle, an der Glaubwürdigkeit später geprüft wird: Bleibt die Unabhängigkeit der Evaluatoren sichtbar, wenn Findings unbequem werden? Oder verschwindet der Inside-Track hinter Confidentiality-Klauseln?

Rhetorische Frage an Policy und Einkauf: Wenn „embedded“ nur heißt „sitzt näher am Lab“, aber keine öffentlich nachvollziehbaren Blindspot-Findings entstehen – was genau haben Sie dann eingebettet? Eine Person? Oder eine Prüfspur?

Für DACH-Lesende ist der Unterschied zu klassischen Vendor-Assessments relevant. Ein externes Assessment mit klarem Scope und öffentlichem Bericht kann ein Track sein, auch ohne Mitarbeiterbadge. Ein Embedded-Setup ohne Bericht und ohne Incident-Kanal kann ein Lab-Selfie sein, auch mit Badge. Die Form „embedded“ ist kein Qualitätsstempel. Die Artefakte sind es.

Anthropic sagt zudem: Es gebe bislang keine Standards dafür, welche Informationen Embedded Evaluators erhalten sollen und wie sie berichten. Es gebe auch kein settled Funding-System für unabhängige Evaluation. Langfristig wünscht Anthropic pooled oder government Funding – verwiesen wird auf das Advanced AI Framework vom Juni. Bis dahin arbeite Anthropic mit verschiedenen Evaluatoren unter verschiedenen Funding-Arrangements. Accenture werde vorerst direkt von Anthropic finanziert. Parallel Dialog mit METR und anderen Nonprofits, die eigene Funding-Strukturen nutzen.

Das ist transparent formuliert – und eröffnet genau die Spannungen, die dieser Artikel später als Checkliste fasst: Wer zahlt? Wer entscheidet über Zugang? Wer entscheidet über Publikation? Wer behält Incident-Reporting-Rechte, wenn Findings peinlich werden?

Faculty, Red-Teaming, Alignment, Safeguards — der Scope

Laut Anthropic führt Faculty die Partnerschaft – Accentures specialist AI business. Der Scope umfasst Evaluating und Red-Teaming von Models, Alignment Assessments und das Testen von Model Safeguards. Anthropic ergänzt: Accenture helfe Unternehmen und Regierungen, AI branchenübergreifend zu deployen; das Verständnis praktischer Enterprise-Nutzung präge den Safety-Ansatz und fließe in die Evaluation der Modelle.

Accenture selbst beschreibt in der Newsroom-Mitteilung vom 18.9. ein Team embedded Evaluators, das neben Anthropics internen Teams und Safety-Partnern arbeiten soll – gleiche Scope-Formulierung: evaluate und red-team, Alignment Assessments, Safeguards testen. Faculty kommt laut Accenture über Acquisition; Partner-Claims heben Expertise in Testing/Evaluation für führende Labs sowie Erfahrung in Government, Defense, Healthcare und Infrastructure hervor. Zitate von Julie Sweet (Chair und CEO, Accenture) und Dr. Marc Warner (CTO Accenture und CEO Faculty) markieren wir hier klar als Partner-Claims – nicht als unabhängige Fakten.

Was folgt daraus für die Lesart? Scope-Sprache ist notwendig, aber track-arm, solange Methode, Fundkategorien und Publikationsregeln fehlen. „Red-Teaming“ kann bedeuten: strukturierte, dokumentierte Tests mit Findings und Remediation. Es kann auch bedeuten: Workshops hinter NDA ohne öffentlichen Lesson. „Alignment Assessments“ können Claims, Evidenz und Unsicherheiten sichtbar machen – oder Folien. „Safeguards testen“ kann High-Level-Wirksamkeit und Lückenkategorien berichten – oder nur bestätigen, dass getestet wurde.

Ich finde, der Scope klingt wie ein sinnvolles Arbeitsprogramm für ein Frontier-Lab. Meiner Einschätzung nach entscheidet aber nicht die Scope-Liste, sondern ob Evaluatoren später öffentlich nachvollziehbare Blindspot-Findings behalten dürfen. Ohne diese Spur bleiben Red-Teaming, Alignment und Safeguards interne Verben.

Für DACH-Teams, die Vendor-Fragen stellen: Fragen Sie nicht nur „Macht ihr Red-Teaming?“, sondern „Welche Fundkategorien wurden öffentlich oder an Oversight kommuniziert – und welche Incidents dürfen Embedded Evaluators melden?“ Das ist keine Feindseligkeit. Das ist Mindeststandard, wenn Milliarden und Inside-Zugang behauptet werden.

Kurze Randnotiz, kein Hauptpitch: Andere Labs und Foren bewegen sich parallel – OpenAI mit Principles zu Third-Party Assessments, Anthropic mit Pace-/AL4-Metriken an anderer Stelle, Misalignment-Reporting, Microsoft RAI Transparency, EU AI Board. Verschiedene Artefakte, dieselbe Grundfrage: Wo entsteht eine Spur, die Außenstehende ohne Insider-Zugang halten können?

≥1 Mrd. $ je Seite über fünf Jahre — Kapazität, kein Vertragstext

Anthropic und Accenture erwarten laut jeweiligen Mitteilungen jeweils mindestens eine Milliarde Dollar Investition in Kapazität bzw. AI Safety über fünf Jahre. Lesen Sie das als Erwartung und Kapazitätsanspruch – nicht als öffentlich hinterlegten Vertragstext mit Meilensteinen, Deliverables und Audit-Klauseln. Eine Kapazitätszahl signalisiert Ernst. Sie beweist keine Unabhängigkeit.

Warum die Unterscheidung zählt: Kapazität kann Teams, Tools, Compute und Prozesse finanzieren. Sie kann auch Marketingbudget, Branding und Conference-Slots finanzieren. Ohne Artefakte wissen Außenstehende nicht, welcher Anteil in prüfbare Evaluation fließt. Anthropic betont, Details seien noch in Arbeit. Genau deshalb ist die Milliarden-Erwartung ein Startsignal, kein Abschlusszeugnis.

Partner-Claims von Accenture rahmen die Summe ähnlich: Each company expects at least $1 billion over five years in AI safety. Wieder: Claim, nicht Fremdverifikation. Für Aufsicht und Einkauf in DACH heißt das: Notieren Sie die Zahl, das Datum, die Quelle – und fordern Sie später Spuren, die zeigen, dass Kapazität in Zugang, Testing und Reporting übersetzt wurde.

Rhetorische Frage: Wenn in fünf Jahren niemand einen öffentlichen Blindspot-Fund mit Embedded-Evaluator-Signatur zitieren kann – war die Milliarde dann Track-Kapital oder Selfie-Budget?

Wir bei digital-magazin.de behandeln Milliardensummen in Lab-Partner-Ankündigungen immer als Kapazitätsrhetorik, bis Deliverables und Reporting-Spuren greifbar sind. Das ist keine Zynismus-Pflicht. Das ist Lesehygiene.

Mitarbeiter-Zugang: Training, Build/Deploy, Incidents

Hier liegt der Kern der These. Anthropic beschreibt Zugang vergleichbar Mitarbeitenden: Training beobachten, Build/Deploy-Entscheidungen verfolgen, direkt mit Mitarbeitenden sprechen. Aus dieser Position Blindspots finden, Incidents melden, Safety Commitments verifizieren, Öffentlichkeit besser über Nutzen und Risiken informieren.

Das ist – wenn es hält – strukturell stärker als ein externes Wochen-Assessment. Inside-Zugang kann sehen, was Punktests verpassen: Anreizstrukturen im Training, Deploy-Gate-Entscheidungen unter Zeitdruck, Lücken zwischen Policy und Praxis. Inside-Zugang kann aber auch kooptiert werden: zu nah, zu abhängig, zu leise.

Deshalb trenne ich drei Ebenen, die oft vermischt werden:

Zugang: Dürfen Evaluatoren Training, Build und Deploy wirklich beobachten – kontinuierlich, nicht nur in Showcase-Fenstern?
Stimme: Dürfen sie Incidents melden und Blindspots benennen, ohne dass Lab-Freigabe die Kernbotschaft verwässert?
Spur: Bleibt für Außenstehende etwas nachvollziehbar – Fundkategorie, Remediation-Status, begründete Redaction mit Impact-Hinweis?

Fehlt die Spur, hilft der Zugang der Öffentlichkeit wenig. Fehlt die Stimme, hilft der Zugang dem Lab mehr als der Accountability. Fehlt der Zugang, bleibt „embedded“ eine Wortmarke.

Anthropic schreibt klar: Safety bleibt Anthropics Verantwortung; Embedded Evaluators machen Accountability eher verifizierbar. Das ist die richtige Verantwortungsformel. Verifizierbar wird sie erst, wenn Findings nicht ausschließlich intern bleiben. Meiner Einschätzung nach ist Incident-Reporting hier der Härtetest: Wenn ein Embedded-Team Incidents nur lab-intern eskalieren darf und nie öffentlich oder an Oversight kommunizieren kann, ist Unabhängigkeit rhetorisch.

Für DACH-Governance unter Einordnungsdruck des AI Act gilt die Analogie: Rollen ohne Nachweispflichten sind Folien. Evaluatoren ohne Reporting-Rechte sind Badges. Wer Transparenzpflichten und Nachweislogik ernst nimmt, fragt nach Artefakten – nicht nach Sitzplänen.

Praktisch für Security und Policy: Fordern Sie in Vendor-Dialogen eine Beschreibung, welche Incident-Klassen Embedded Evaluators melden dürfen, an wen, und was davon öffentlich oder an Behörden/Bodies geht. „Wir haben Embedded Evaluators“ ohne diese Antwort ist Lab-Selfie-Kandidat.

Wer zahlt wen — und warum das für Glaubwürdigkeit zählt

Anthropic: Konferenztisch mit Notizbüchern — Konferenztisch mit Notizbüchern – Embedded Evaluation (Symbolbild)

Funding ist keine Fußnote. Funding ist Anreizstruktur. Anthropic finanziert Accentures Arbeit vorerst direkt – begründet mit Wichtigkeit und Dringlichkeit, weil pooled/government Funding und settled Standards noch fehlen. Gleichzeitig Dialog mit METR und anderen Nonprofits, die eigene Funding-Strukturen nutzen. Langfristig wünscht Anthropic pooled oder government Quellen, wie im Advanced AI Framework skizziert.

Das ist nachvollziehbar als Übergang. Es bleibt heikel als Dauerzustand. Wer zahlt, kann – bewusst oder unbewusst – Scope, Timing und Ton von Findings beeinflussen. Anthropic und Accenture können dem entgegenwirken: durch publizierte Scope-Regeln, Conflict-Disclosures, redaktionelle Unabhängigkeit der Evaluatoren und klare Incident-Kanäle. Aber das sind Versprechen, die Spuren brauchen.

Partner-Claims von Accenture betonen Expertise und Scale. Das ändert nichts an der Funding-Frage. Ein kompetentes Team kann abhängig finanziert sein. Ein abhängig finanziertes Team kann trotzdem harte Findings liefern – wenn die Regeln Unabhängigkeit schützen. Ohne Regeln und Spuren bleibt die Hoffnung Spekulation.

Ich finde: Direkte Lab-Finanzierung ist akzeptabel als Brücke, wenn parallel Nonprofits mit eigenem Funding eingebettet oder pilothaft eingebunden werden und wenn öffentliche Mindestangaben zu Scope und Findings entstehen. Wird die Brücke zur Dauerbrücke ohne Spuren, wächst das Selfie-Risiko.

Für Aufsicht in demokratischen Jurisdiktionen inklusive DACH liegt hier ein Hebel: Standards für Zugang und Reporting, wie Anthropic selbst als fehlend markiert; und Funding-Modelle, die nicht allein am Lab-Budget hängen. Der Verweis auf pooled/government Funding ist genau dann glaubwürdig, wenn Labs und Policy ihn gemeinsam operationalisieren – nicht nur in Essays erwähnen.

METR, Nonprofits, non-exklusiv — Ökosystem oder Alibi?

Anthropic betont Non-Exklusivität: Frontier Labs sollen mit mehreren Organisationen gleichzeitig arbeiten. Anthropic werde in den coming weeks weitere Evaluatoren ankündigen; Accenture werde auch mit anderen AI Developers in ähnlicher Rolle arbeiten. Parallel Dialog mit METR und anderen Nonprofit-Evaluatoren zu Embedded-Elementen mit deren Funding.

Das ist die richtige Ökosystem-Rhetorik. Ökosystem entsteht aber nicht durch Ankündigung allein. Es entsteht, wenn mehrere Evaluatoren mit shared standards arbeiten, Findings vergleichbar sind und Labs nicht nur den angenehmsten Partner behalten. Non-exklusiv kann Diversität bedeuten. Non-exklusiv kann auch bedeuten: viele Logos, wenig harte Publikation.

Wir bei digital-magazin.de lesen Non-Exklusivität deshalb als Prüfversprechen: Zeigen Sie später mehrere Evaluatoren mit greifbaren Rollen – und idealerweise unterschiedliche Funding-Modelle. Ein Lab, das nur einen direkt bezahlten Consultant-Partner hat und Nonprofits nur „im Dialog“ hält, hat noch kein Ökosystem. Es hat eine Roadmap-Folie.

Shared standards – von Anthropic als Ziel genannt – wären der eigentliche Hebel: Was dürfen Evaluatoren sehen? Wie berichten sie? Welche Incident-Klassen gehen an Oversight? Welche Redactions brauchen Impact-Hinweise? Solange das fehlt, konkurrieren Labs und Partner um Narrative statt um Tracks.

Kurzer Kontrast ohne Hauptpitch-Verschiebung: OpenAIs Principles zu Third-Party Assessments und Anthropics Embedded-Pfad sind verschiedene Lab-Angebote an dieselbe Grundfrage. Tracks entstehen nicht durch Lab-Namen. Tracks entstehen durch followable Claims, fremde Verifikation und sichtbare Incident-/Remediation-Spuren.

Was DACH-Policy und AI-Act-Governance stellen sollten

Der AI Act ist hier Einordnungsdruck, kein Rechtsgutachten. Er strukturiert Erwartungen an Transparenz, Rollen und Nachweise. Embedded Evaluation bei Frontier-Labs betrifft DACH-Organisationen indirekt: als Signal, ob GPAI-Anbietende prüfbare Safety-Spuren anbieten – und als Vorlage für Fragen, die Aufsicht, Einkauf und Security stellen können, ohne Exploit-Details zu verlangen.

Fragen, die Policy und Governance stellen sollten:

Welcher Zugang besteht wirklich – Training, Build, Deploy, kontinuierlich oder Showcase?
Welche Incident-Klassen dürfen Embedded Evaluators melden – und an wen?
Welche Blindspot-Findings werden öffentlich oder an Oversight kommuniziert?
Wer finanziert wen, und welche Conflict-Disclosures gibt es?
Gibt es weitere Evaluatoren (Nonprofits, andere Firmen) mit greifbaren Rollen – oder nur Ankündigungen?
Existieren shared standards für Zugang und Reporting – oder nur Lab-interne Regeln?
Wie wird Remediation dokumentiert, und welche Redactions tragen Impact-Hinweise?

Wer KI-Regulierung und den EU AI Act als Governance-Rahmen kennt, erkennt das Muster: Dokumentationsdisziplin schlägt Label-Rhetorik. Dasselbe gilt für die vier zentralen AI-Act-Fragen, die Rollen und Nachweise schärfen – analog zur Frage, ob Embedded Evaluation Spuren hinterlässt.

Für Unternehmens-Governance in DACH: Trennen Sie Lab-News vom Assessment-Bericht. Speichern Sie Abrufdatum und URL. Notieren Sie, was fehlt (Assessor-Typ, Incident-Kanal, Publikationsstatus). Eskalieren Sie an Legal/Security/Einkauf, wenn „Embedded Evaluation“ ohne Zugangsbeschreibung und ohne Reporting-Regel kommt. Parallel halten Sie Red-Team-Themen auf Governance-Ebene – etwa unsere Einordnung zu Google Red Team und agentischen Angriffsketten als Testlogik, nicht als Angriffsanleitung.

Internationale Gremien und nationale Aufsicht können sinnvoll anstoßen, was Anthropic als fehlend markiert: Standards für Zugang und Reporting; Funding jenseits reiner Lab-Direktzahlung; Mindestangaben in öffentlichen Evaluation-Zusammenfassungen (Scope, Evaluator-Typ, Fundkategorien, Incident-Kanal, Remediation-Status). Das ist Policy-Handwerk – kein Alarmismus.

Checkliste: wann Embedded ein Track ist — und wann Lab-Selfie

Hier die harte Liste. Nutzen Sie sie als Redaktions- und Compliance-Radar. Jede „Ja“-Antwort erhöht Track-Qualität; jede „Nein“-Antwort ohne Begründung erhöht Selfie-Risiko.

Ist der Evaluator-Typ benannt (Firma/Nonprofit) und die Führungsrolle (hier: Faculty) nachvollziehbar?
Ist Zugang vergleichbar Mitarbeitenden beschrieben – Training beobachten, Build/Deploy verfolgen, direkte Gespräche – und nicht nur angekündigt?
Existiert ein Incident-Reporting-Kanal mit klaren Empfängerrollen?
Können Blindspot-Findings öffentlich oder an Oversight kommuniziert werden – inkl. begründeter Redaction mit Impact-Hinweis?
Ist Funding offengelegt (Lab-direkt, Nonprofit-eigen, pooled/government) und sind Conflicts disclosed?
Gibt es Non-Exklusivität mit greifbaren weiteren Evaluatoren – nicht nur „coming weeks“?
Sind Safety Commitments, die verifiziert werden sollen, öffentlich benannt?
Bleibt klar, dass Safety-Verantwortung beim Lab liegt – und Unabhängigkeit der Evaluatoren sichtbar bleibt?
Gibt es Remediation-Status zu Findings (offen/teilweise/geschlossen)?
Können Außenstehende denselben Claim gegen denselben Bericht halten – ohne Insider-Zugang?

Wenn die ersten drei Punkte fehlen, ist „Embedded“ vorerst Label. Wenn Funding lab-direkt ist und Publikation fehlt, steigt das Selfie-Risiko. Wenn Nonprofits nur im Dialog existieren und nie Rollen greifen, bleibt Ökosystem Rhetorik.

Die Partnerschaft vom 18.9. kann ein Track werden. Anthropic und Accenture liefern Kapazitätserwartung, Scope und Zugangssprache. Was noch fehlt – und von Anthropic teilweise selbst als offen markiert wird – sind Standards, settled Funding und die öffentliche Spur der Findings. Das ist der Unterschied zwischen Start und Nachweis.

Und jetzt?

Halten Sie die Ankündigung fest: Datum 18.9., Anthropic-Primärquelle, Accenture-Newsroom als Zweitquelle, Faculty als Führungsrolle, Kapazitätserwartung ≥1 Mrd. $ je Seite über fünf Jahre, Non-Exklusivität, direkte Finanzierung Accenture durch Anthropic, Dialog mit METR/Nonprofits. Markieren Sie Claims als Claims.

Stellen Sie die drei Härtefragen: Welcher Mitarbeiter-Zugang gilt wirklich? Welches Incident-Reporting bleibt den Evaluatoren? Welche Blindspot-Findings werden öffentlich nachvollziehbar? Ohne Antworten bleibt „Third Party“ ein Label.

Für DACH: Nutzen Sie AI-Act-Einordnungsdruck, um Vendor-Fragen zu schärfen – Rollen, Nachweise, Transparenz – ohne Rechtsgutachten aus diesem Text zu machen. Speichern Sie Quellen mit Abrufdatum. Fordern Sie Artefakte, nicht nur Logos.

Und beobachten Sie die coming weeks: Weitere Evaluatoren, erste Scope-Dokumente, erste Fundspuren. Dann entscheiden Sie, ob Embedded Evaluation ein Inside-Track ist – oder das nächste Lab-Selfie mit teurem Rahmen.