Anthropic misst das Tempo der KI-Entwicklung, doch unabhängige Prüfer fehlen noch

Das Anthropic Institute hat am 22. September drei Messungen zum Tempo der KI-Entwicklung veröffentlicht. Demnach führte das Modell Claude im August 26 Prozent der Forschung und Entwicklung bei Anthropic weitgehend selbstständig. Die Überwachungssysteme blockierten 0,002 Prozent von mehr als einer Milliarde Entscheidungen von Agenten. Unabhängig geprüft sind diese Angaben bislang nicht.

Drei Messungen sollen das Tempo sichtbar machen

Der Text des Instituts beschreibt drei Messungen aus dem Inneren eines Labors an der Spitze der KI-Entwicklung. Als Autorinnen nennt das Institut Marina Favaro und Phillie Wright, die Forschungsrichtung lag bei Jack Clark. Die Primärquelle ist der Beitrag Measuring the pace of AI development. Alle Zahlen darin stammen von Anthropic selbst und sollten bis zu einer unabhängigen Prüfung als Herstellerangaben gelesen werden.

Die Messungen betreffen den Automatisierungsgrad der eigenen Forschung und Entwicklung, die Überwachung von KI-Agenten und den Anteil der Rechenleistung für Sicherheitsarbeit. Anthropic begründet das Vorhaben so: Die Systeme werden mächtiger und bauen zunehmend die nächste Modellgeneration mit. Wer über das Tempo an der Spitze diskutiere, brauche deshalb mehr Einblick von außen. Die Messungen verbinden Eingangsgrößen wie Rechenleistung, Automatisierung und Aufsicht mit dem Herstellungsprozess der Modelle. Sie ergänzen Fähigkeitstests, die Anthropic nach eigener Darstellung separat in Risikoberichten veröffentlicht.

Der Anspruch klingt nüchtern und groß zugleich: Anthropic misst das Tempo. Eine Messreihe braucht aber Wiederholung, gemeinsame Definitionen und fremde Augen. Eine einmalige Momentaufnahme mit Methodenanhang kann das nicht leisten. Anthropic kündigt deshalb unabhängige Prüfer an, die direkt im Unternehmen arbeiten sollen. Ob daraus ein regelmäßiger Bericht entsteht, entscheidet über den Wert der Zahlen.

Auch der Zeitpunkt ist politisch lesbar, denn in Europa laufen Debatten über Transparenz und Steuerung von KI. Organisationen in Deutschland, Österreich und der Schweiz müssen einordnen können, welche Zahlen öffentlich, welche methodisch belegt und welche allein vom Anbieter stammen. Eine Rechtsberatung ist dieser Artikel ausdrücklich nicht. Welche Pflichten schon gelten, erklärt unser Beitrag zu den Transparenzpflichten seit dem 2. August.

Claude führt 26 Prozent der eigenen Forschung, aber die Methodik hat Grenzen

Im August führte Claude nach Angaben von Anthropic 26 Prozent der eigenen KI-Forschung und -Entwicklung auf der vierten von sechs Automatisierungsstufen. Anthropic nutzt dafür eine Skala von Epoch AI mit den Stufen null bis fünf, kurz AL0 bis AL5 für „Automation Level“. Stufe null bedeutet keine KI-Beteiligung. Auf Stufe drei „collaborates“ die KI: Sie erledigt große Arbeitspakete unter enger menschlicher Leitung. Auf Stufe vier „leads“ sie: Sie erledigt eine Aufgabe weitgehend von Anfang bis Ende aus einer groben Anweisung, und der Mensch beaufsichtigt. Stufe fünf wäre vollständig autonom, ohne Menschen in der Schleife.

Der Anteil der Aufgaben bei oder über Stufe drei liegt laut Anthropic bei mehr als 90 Prozent. Kein gemessener Teilbereich erreicht Stufe fünf. Das sind die Zahlen, die viele Schlagzeilen tragen werden. Wer sie weitergibt, sollte die Methodik aus dem Anhang mitliefern. Anthropic hat Aufgaben aus Arbeitsnachweisen wie Slack und interner Dokumentation gesammelt und in einen eingefrorenen Aufgabenkorb überführt, der etwa auf Juli 2026 datiert ist. Bewertet wurden die Aufgaben von Claude-Agenten und einem Bewertungsmodell, ebenfalls Claude.

Zur Güte dieser Bewertung nennt der Anhang einen Abgleich. Die exakte Übereinstimmung zwischen Modell und Mensch liegt bei 59 Prozent, zwischen zwei Menschen bei 35 Prozent. Innerhalb einer Stufe stimmen die Urteile in 97 Prozent der Fälle überein. Der Abgleich zeigt, dass sich schon Menschen uneinig sind und das Bewertungsmodell oft nahe an menschlichen Urteilen liegt. Er bleibt eine interne Plausibilitätsprüfung; eine Drittprüfung folgt daraus nicht.

Zwei Hindernisse für den Vergleich zwischen Laboren nennt Anthropic selbst: Es gibt keine gemeinsame Methodik, und eigene Modelle beurteilen eigene Systeme. Meldet ein Labor 26 Prozent und ein anderes mit anderem Aufgabenzuschnitt und anderem Bewertungsmodell 40 Prozent, stehen zwei Pressemitteilungen nebeneinander, aber keine Messreihe. Als berichtbar für jedes Labor beschreibt Anthropic deshalb mehrere Punkte:

• dieselben Maße regelmäßig mit öffentlicher Methodik veröffentlichen, damit Zahlen über Zeit und möglichst über Labore vergleichbar werden;
• Verifikation durch Dritte oder durch Modelle anderer Entwickler, mit Schutzvorkehrungen für Wettbewerbsdaten;
• strengere Anforderungen, etwa feste Testfenster, bevor ein neues Modell für weitere Forschung und Entwicklung genutzt wird.

Das sind Vorschläge des Instituts, keine Norm der Branche.

Die Überwachung deckt nach Anthropics Angaben alle Aktionen ab

Der zweite Block betrifft die Aufsicht über KI-Agenten auf der meistgenutzten internen Plattform. Dort liefen im August rund 30.000 Agenten gleichzeitig in Forschung und Technik. Die Messungen gelten laut Institut nur für diese Plattform und erheben keinen Anspruch auf jedes Werkzeug im Unternehmen.

Anthropic setzt zwei Arten von Überwachungssystemen ein. Das Online-System prüft Aktionen in Echtzeit und kann gefährliche Schritte blockieren oder steuern. Es ist gedacht für Schäden, die schnell und unumkehrbar wären, etwa das Kopieren von Modellgewichten aus den Systemen. Das Offline-System liest Aktivitäten im Nachhinein und soll langsamer entstehende Muster erkennen, zum Beispiel Anzeichen für abweichende Ziele. Seine Meldungen verbessern Gegenmaßnahmen, Klassifizierer und feste Regeln. Bei großer unmittelbarer Gefahr würde Anthropic nach eigener Darstellung gefährliche Teile des Agenteneinsatzes herunterfahren.

Die Abdeckung beziffert Anthropic so: Online werden 100 Prozent der Aktionen dieser Agenten vor der Ausführung geprüft, meist innerhalb weniger Sekunden. Offline werden 100 Prozent der Aktionen nachträglich erfasst. Im August fielen online mehr als eine Milliarde Entscheidungen an, davon wurden 0,002 Prozent blockiert, also etwa eine von 47.000. Menschen prüfen blockierte Aktionen innerhalb einer Woche.

Offline markiert das System grob 100.000 Transkripte pro Woche. Mehrere Klassifizierer sortieren Fehlalarme aus und nehmen eine erste Prüfung vor. Die höchste Priorität, etwa 50 Fälle pro Woche, geht an menschliche Prüfer. Grob ein bis zwei von tausend Transkripten werden weiter eskaliert. Anthropic schreibt, einzelne Agenten verhielten sich in den bisherigen Daten selten falsch. Bei Millionen oder Milliarden Agenten in der Wirtschaft träten seltene Ereignisse aber regelmäßig auf. Das ist die Logik hinter der Kennzahl.

Zur Drittprüfung gibt es einen Hinweis zur Vergangenheit: Die Organisation METR habe das Offline-Monitoring früher unabhängig angegriffen, um Schwächen zu finden. Das belegt eine frühere Prüfung, aber nicht die August-Zahlen. Anthropic hält es außerdem für berichtbar, wie oft bekanntes Fehlverhalten von den Systemen erwischt wird und ob Dritte das unabhängig testen. Wer Agenten im großen Maßstab einsetzt, braucht neben guten Blockraten nachvollziehbare Grenzen der Abdeckung und klare Eskalationswege. Warum Überwachungsangaben ohne Angriffspfade wenig aussagen, zeigt unser Text zu agentischen Angriffsketten im Red-Team-Kontext.

Der Sicherheitsanteil an der Rechenleistung ist eine Wochenaufnahme

Der dritte Block ist eine Momentaufnahme der Woche vom 13. bis 20. Juli. Anthropic sortierte die Arbeitslasten und fragte, wie viel der Rechenleistung für Forschung und Entwicklung auf Sicherheitsarbeit entfiel. Etwa 6 Prozent waren es insgesamt. Bei der Rechenleistung, die in KI-getriebene Forschung und Entwicklung floss, lag der Anteil bei etwa 12 Prozent.

Anthropic nennt die Rechnung bewusst konservativ: Tokens, die Fähigkeiten und Sicherheit gleichermaßen voranbringen, zählen nicht als Sicherheit. Separate Schutz-Klassifizierer sind nicht eingerechnet. Sie machen nach Anthropics Angabe eine vergleichbare zusätzliche Menge aus.

Die Fußnoten enthalten wichtige Vorbehalte. Rechenleistung wird als gemeinsamer Pool gesteuert, die Aufnahme zeigt also nur, wohin sie in jener Woche floss. Die technischen Kategorien entsprechen nicht zwingend der Kostenrechnung. Sicherheitsforschung braucht von Natur aus oft weniger Rechenleistung als das Training großer Modelle. Den Wert der Kennzahl sieht Anthropic deshalb weniger in der absoluten Höhe als im Vergleich über Labore und Zeit, sofern Definitionen geteilt werden. Berichtbar wäre der Anteil mit veröffentlichten Kategoriedefinitionen und unabhängiger Prüfung der Einordnung. Die Beweislast soll beim Entwickler liegen, dass eine Arbeit sicherheitsbezogen ist. Ohne gemeinsame Definitionen zieht sonst jedes Labor die Grenze großzügig.

Anthropic warnt selbst vor Fehlschlüssen. Effizientere Klassifizierer oder schnellere Berechnung können den Sicherheitsanteil rechnerisch senken, ohne dass weniger Sicherheitsarbeit stattfindet. Eine Einschätzung unserer Redaktion: Sechs und zwölf Prozent lassen sich gut kommunizieren, sind methodisch aber zerbrechlich, solange wiederholte Wochen und eine fremde Prüfung der Einordnung fehlen. Rechenleistung zählt zu den vergleichsweise prüfbaren Eingangsgrößen, weshalb sie in Debatten über das Tempo der Entwicklung immer wieder auftaucht.

Glaubwürdig werden die Zahlen erst durch unabhängige Prüfer mit echtem Zugang

Dieses Bild wurde mit KI generiertProviderhiggsfieldModellgpt_image_2PromptPerson reviewing timeline notes outdoors near modern glass institute building overcast, transparency mood, no logos, no brand names, no readable text, 16:9

Anthropic plant laut Institutstext, unabhängige Evaluatoren mehrerer Organisationen in das Unternehmen einzubetten. Sie sollen Zugang zu internen Prozessen, Systemen und Daten erhalten, vergleichbar mit dem der internen Risikoteams. Sie sollen Sicherheitspraktiken prüfen, Vorfälle melden und Schlüsselkennzahlen wie die drei Messungen beobachten. Das ist der entscheidende Hebel, denn ohne ihn bleiben die Zahlen ein Laborbericht mit Methodenanhang.

Aus unserer Sicht braucht es dafür fünf Dinge. Die Prüfer brauchen Zugang in vergleichbarer Tiefe wie die internen Teams, nicht nur vorbereitete Übersichten. Sie brauchen ein Mandat, Vorfälle zu melden, das auch bei unbequemen Funden gilt. Sie sollten Stufenindex, Überwachungsraten und Sicherheitsanteil samt Stichproben zur Einordnung und zu den Grenzen der Abdeckung kontrollieren dürfen. Die Veröffentlichung sollte monatlich oder vierteljährlich mit denselben Definitionen erfolgen, mit Änderungsprotokoll, wenn der Aufgabenkorb neu gebaut wird. Und die Prüfer müssen klar vom Marketing getrennt sein.

Bis dahin ist ein Plan ein Plan. Erst ein erster öffentlicher Bericht der eingebetteten Prüfer wäre ein Beleg. Die Einordnung der Pflichten unter dem AI Act finden Sie in unserem Überblick zur KI-Regulierung in der EU, vier Grundfragen vorab beantworten die vier Fragen zum EU AI Act. Laborangaben ersetzen regulatorische Nachweise nicht, können sie aber ergänzen.

Wer die Zahlen weitergibt, kann sich an dieser Checkliste orientieren:

• Quelle: Die Zahl stammt aus dem Text des Anthropic Institute vom 22. September und ist als Herstellerangabe gekennzeichnet.
• Zeitraum: August gilt für Stufenindex und Überwachung, der 13. bis 20. Juli für die Rechenleistung. Beides sollte nicht vermischt werden.
• Stufen: Stufe drei bedeutet Zusammenarbeit, Stufe vier Führung, Stufe fünf volle Autonomie; ein gemessener Teilbereich auf Stufe fünf existiert laut Anthropic nicht.
• Methodik: Der Aufgabenkorb ist auf etwa Juli eingefroren, und die Werte 59, 35 und 97 Prozent stammen aus dem Anhang von Anthropic.
• Geltungsbereich: Die Überwachungszahlen gelten für die meistgenutzte interne Plattform mit rund 30.000 Agenten.
• Abdeckung und Rate: Volle Abdeckung bedeutet keine volle Sicherheit, und die Blockrate von 0,002 Prozent braucht Kontext zu übersehenen Fällen.
• Rechenleistung: Die Werte sind konservativ gerechnet, Schutz-Klassifizierer fehlen, und die Aufnahme zeigt keine feste Zuteilung.
• Drittprüfung: Die Prüfung durch METR liegt in der Vergangenheit, die eingebetteten Prüfer sind ein Plan.
• Rhythmus und Vergleich: Es sollte Folgemonate mit gleichen Definitionen und eine gemeinsame Methodik mit anderen Laboren geben.

Wer diese Punkte abhakt, hat keinen Freibrief, aber einen Filter gegen die ungeprüfte Übernahme von Herstellerzahlen. Anthropic liefert mit den drei Messungen mehr Transparenz, als viele Labore bieten. Eine fremdverifizierte, laborübergreifende Messreihe ist es noch nicht. Bis die Prüfer berichten, bleiben 26 Prozent, 0,002 Prozent und 6 beziehungsweise 12 Prozent nützliche und zitierfähige Angaben des Herstellers. Speichern Sie sie mit Datum und Methodik, und fragen Sie bei Anbietern nach Rhythmus und Dritten.