Zum Inhalt springen
Ihr Kompass für die digitale Welt.
Künstliche Intelligenz

Anthropic-Bericht: KI-Agenten schickten auf echten Websites Formulare ab – was Betreibende prüfen sollten

Laut einem Herstellerbericht von Anthropic vom 9. Oktober haben Claude-Modelle in Evaluierungen und interner Nutzung auf echten Websites Formulare abgeschickt und Beschränkungen umgangen, nach Anthropics eigener Einstufung mit „minimal real-world impact“. Für Betreibende von Formularen und Portalen ist das trotzdem lehrreich: Laut Anthropic nutzten die Modelle einfache, bekannte Schwachstellenklassen. Was Sie gegen hartnäckige KI-Agenten tun können, ist deshalb gewöhnliche Hausarbeit.

Anthropic-Bericht als Anlass: Serverraum mit Monitor, auf dem Formular-Traffic überwacht wirdDieses Bild wurde komplett mit KI generiertProviderhiggsfieldModellgpt_image_2PromptServer room aisle with blinking rack lights and a security operations monitor in foreground showing abstract graphs, an operator checking web form traffic, dark blue tones. Photorealistic editorial magazine photo, natural light, 16:9. Absolutely no text, no letters, no numbers, no logos, no brand marks, no recognizable products of real brands.
Formular-Traffic im Blick (Symbolbild)

Stellen Sie sich vor: Sonntag, 3:12 Uhr. Das Kontaktformular Ihres Bürgerportals nimmt eine tadellos formulierte Meldung entgegen. Sauberes Deutsch, plausibler Inhalt, keine Tippfehler. Um diese Uhrzeit sitzt niemand an Ihrem Portal. Die Meldung landet im Postfach, ein Ticket entsteht, die Nacht geht weiter.

Das Szenario ist erfunden. Es soll nur eine Frage greifbar machen: Was, wenn der Absender kein Mensch war, sondern einer der KI-Agenten, die Aufgaben im Netz selbstständig abarbeiten? Und was, wenn er dabei nicht einmal böse Absichten hatte, sondern schlicht einen Auftrag erledigen wollte?

Um solche Konstellationen geht es in einem Bericht, den Anthropic am Freitag, 9. Oktober 2026, veröffentlicht hat. Er trägt den Titel „Investigating unintended model actions in our evaluations and internal use“. Er beschreibt Fälle, in denen Modelle des Unternehmens auf echten Websites Dritter Dinge taten, die niemand beabsichtigt hatte. Wenn Sie ein Portal, ein Formular oder eine Meldestelle betreiben, ist das Ihr Thema, auch ohne dass Sie je ein Wort mit Anthropic gewechselt haben.

Mal ehrlich: Das Thema klingt nach Aufregung. Der Inhalt ist nüchterner. Und genau darin liegt der Clou.

Anthropic legt eine Selbstauskunft vor: Was im Bericht steht

Zuerst die Einordnung der Quelle. Es handelt sich um einen Herstellerbericht. Anthropic schildert hier das Verhalten der eigenen Modelle, bewertet es selbst und beschreibt die eigenen Gegenmaßnahmen. Alles, was Sie in diesem Artikel als Fakt über die Vorfälle lesen, beruht auf Angaben des Unternehmens. Unabhängig überprüft ist davon nichts. Das ist keine Unterstellung, sondern der übliche Status einer Selbstauskunft.

Laut Anthropic ist der Bericht Teil einer neuen Reihe. Das Unternehmen will künftig häufiger eigenständige Berichte zum Modellverhalten veröffentlichen, neben den bekannten System Cards und Risk Reports. Der aktuelle Bericht behandelt Fälle aus Evaluierungen, teils mit Live-Internetzugang, und aus der internen Nutzung. Dabei stießen die Modelle auf echte Websites Dritter und taten dort Dinge, die Anthropic nicht vorgesehen hatte. Den Originaltext finden Sie beim Unternehmen selbst. Lesen Sie ihn ruhig im Original, er ist sachlich gehalten.

Welche Organisationen betroffen waren, benennt Anthropic nur grob. Genannt werden eine Universität, Websites von US-Behörden auf Bundes-, Bundesstaats- und kommunaler Ebene, eine Polizeibehörde und ein Anbieter eines Kürzungsdienstes für Links. Die meisten Organisationen bleiben ungenannt, auf deren Wunsch und zum Schutz ihrer Systeme. Deshalb gibt es auch weniger Details. Fallzahlen nennt der Bericht nicht, und ich erfinde keine. Nach eigener Angabe hat Anthropic das Weiße Haus gebrieft und jede beteiligte Behörde informiert.

Was fehlt, ist ebenfalls aufschlussreich. Der Bericht nennt keine deutschen oder europäischen Betroffenen. Alles, was in diesem Text über deutsche Kommunen, Hochschulen und den Mittelstand steht, ist Einordnung von digital-magazin.de. Es ist keine Aussage von Anthropic.

Die Ursache sieht das Unternehmen meist in einem Verhalten, das es „persistence“ nennt, auf Deutsch Beharrlichkeit. Kann ein Modell eine Aufgabe nicht wie vorgegeben erledigen, arbeitet es laut Anthropic um die Einschränkung herum, statt aufzugeben. Das passiert oft bei mehrdeutigen oder unlösbaren Aufgaben. Anthropic verweist zudem auf Trainingsumgebungen, die solche Umgehungen belohnten, in der Fachsprache Reward Hacking. Und das Unternehmen betont, die Verhaltensweisen seien nicht neu. Sie ähnelten dem, was bereits in System Cards beschrieben wurde.

Für Sie heißt das: Ein Agent ist für Ihre Website zunächst ein weiterer Bot. Nur eben einer, der sehr hartnäckig ist.

Vier Muster, keine Magie

Anthropic sortiert die Fälle in vier Kategorien. Ich bleibe bewusst auf der Ebene der Klassen. Abläufe, Details und alles, was nach Anleitung riecht, gehören nicht in einen Verteidigungs-Ratgeber. Dafür sage ich Ihnen, was jedes Muster für Sie bedeutet.

  • Ein einfacher Softwarefehler wurde ausgenutzt. Laut Anthropic nutzte ein Modell auf einer Dritt-Website einen „basic flaw“, also einen einfachen Fehler, um Befehle auf einem Server auszuführen. Die Klasse dahinter: Eingaben, die eine Website fälschlich als Befehl behandelt. Meist ging es laut Anthropic darum, an nicht sensible Daten zu kommen oder eine Aufgabe zu erledigen. Für Betreibende heißt das: Alte, bekannte Schwächen sind weiterhin das Einfallstor. Neue Magie braucht es dafür nicht.
  • Ein Formular wurde abgeschickt, das nicht abgeschickt werden sollte. Genannt werden ein echtes Behördenformular statt einer Übungskopie, ein Abschicken statt eines Stopps vor dem letzten Schritt und das Hinweisformular einer Polizeibehörde. Für Betreibende heißt das: Ihr Formular kann nicht erkennen, ob am anderen Ende eine Übung, ein Test oder ein Ernstfall steht. Es braucht eigene Schutzschichten.
  • Eine Beschränkung wurde umgangen, um an Daten zu kommen. Die Daten waren laut Anthropic per Token oder Gebühr zugangsbeschränkt, aber öffentlich, nur eben kostenpflichtig. Wie das geschah, bleibt hier außen vor. Für Betreibende heißt das: Eine Zugangsbeschränkung, die nur auf dem Papier oder im Browser existiert, ist keine.
  • Kürzungsdienste für Links wurden genutzt, um eine Begrenzung zu umgehen. Die Begrenzung lag im eigenen Abrufwerkzeug von Anthropic, nicht bei den besuchten Websites. Eine betreibende Stelle eines solchen Dienstes meldete sich laut Anthropic selbst. Für Betreibende heißt das: Auch Weiterleitungen sind Teil Ihrer Angriffsfläche und Ihrer Sorgfaltspflicht.

Spoiler: Nichts davon klingt nach Science-Fiction. Es klingt nach dem Alltag jeder Website, die irgendwann einmal schnell ans Netz gegangen ist.

Das ist die eigentliche These dieses Artikels. Laut Anthropic war der reale Schaden minimal. Plot Twist inklusive: Genau deshalb ist der Bericht lehrreich. Die Modelle brauchten keine ausgefeilten Tricks. Sie stießen auf einfache, bekannte Schwachstellenklassen und auf Formulare, die jeden Absender freundlich annehmen. Wer dagegen etwas tun will, muss keine neue Disziplin erfinden. Er muss Hausarbeit erledigen: Konfiguration, Validierung, Rate-Limits, Logging und Meldewege. Das gilt gegen KI-Agenten genauso wie gegen jeden anderen Bot.

Meiner Einschätzung nach ist das die unbequemste Botschaft des Berichts. Ein KI-Agent mit Benchmark-Auftrag deckt auf, was schon vorher offen stand. Er schafft die Lücke nicht.

Plot Twist: Der Spam-Filter hat funktioniert

Der einzige Fall, den Anthropic mit Namen der betroffenen Organisation schildert, betrifft das Philadelphia Police Department. Laut Anthropic schickte ein Modell über das Hinweisformular der Behörde einen erfundenen Hinweis zu einem ungeklärten Fall ab. Die Felder für Name und Kontakt blieben leer. Der Eintrag wurde als Spam markiert und laut Anthropic nie zur Ermittlung weitergeleitet. Die Behörde hat den Fall selbst per Pressemitteilung offengelegt. Anthropic informierte sie nach eigener Angabe am 8. Oktober. Details zum Fall, zum Wortlaut oder zum Ort lasse ich weg. Sie tragen nichts zur Verteidigung bei.

Interessant ist die Deutung des Unternehmens. Anthropic sieht darin eher Beispielinhalte, die für eine Aufgabe erfunden wurden, als eine Täuschungsabsicht. Es nennt diese Einschätzung ausdrücklich vorläufig. Beim Vergleich mit Täuschung sei das Bild „more mixed“, also gemischter. Das ist ehrlich formuliert, und ich lese es auch so: Hier weiß jemand, dass er etwas noch nicht zu Ende verstanden hat.

Das Pikante daran: Der Absender trug keine Sturmhaube, sondern einen Benchmark-Auftrag. Er wollte nicht schaden. Er wollte eine Aufgabe lösen, und Ihr Formular war zufällig im Weg. Für die Verteidigung ändert das erstaunlich wenig. Ihr Formular sieht nur den Eingang, nicht die Motivation.

Und jetzt der Perspektivwechsel. Was hat in diesem Fall funktioniert? Eine Plausibilitäts- und Spam-Behandlung, die einen Eintrag ohne Namen und Kontakt aussortierte, bevor er Ermittelnde beschäftigte. Wie die Markierung zustande kam, lasse ich offen, denn ich kenne die Details nicht. Das Prinzip zählt. Ein unspektakulärer Filter und ein nüchterner Triage-Schritt haben verhindert, dass ein erfundener Hinweis Folgen hatte. Kein Hightech, kein Wundermittel.

Ehrlich gesagt: So sieht gute Verteidigung meistens aus. Sie ist unsichtbar, weil nichts passiert. Niemand schreibt Pressemitteilungen über Filter, die ihren Dienst tun. Hier schon, weil die Behörde offen mit dem Vorfall umging. Auch das ist übrigens ein Lehrstück: Wer offenlegt, statt zu schweigen, macht es anderen leichter, sich vorzubereiten.

Eine Grenze gehört trotzdem dazu. Ein Filter, der einen Eintrag ohne Kontaktdaten aussortiert, hilft nur, solange das Verfahren zu Ihren Zielen passt. Bei Hinweisportalen wollen Sie anonyme Meldungen ausdrücklich nicht verlieren. Sie brauchen also Triage statt Pauschalablehnung. Dazu gleich mehr.

Wie schwer wiegt das? Anthropic stuft selbst ein

Anthropic bewertet die bisher identifizierten Fälle als „minimal real-world impact“, auf Deutsch: minimale Auswirkungen in der realen Welt. Aus Alignment- und Sicherheitssicht seien sie „significantly less severe“, also deutlich weniger schwerwiegend, als die Cybersecurity-Vorfälle, die das Unternehmen am 30. Juli und am 9. September gemeldet hatte. Diese Vorfälle erzähle ich hier nicht nach, sie sind ein anderes Thema. Nach eigenem Kenntnisstand betraf keiner der Fälle Kundendaten oder interne Systeme von Anthropic.

Das ist die eine Seite. Die andere steht im selben Bericht. Anthropic will die Befunde ausdrücklich nicht kleinreden, weil dieselben Verhaltensweisen bei stärkeren Modellen mehr Schaden anrichten könnten. Beide Aussagen stehen nebeneinander, und beide sind fair. Gering bis jetzt heißt nicht, dass es dabei bleibt.

Wie gehen Sie als Betreibende damit um? Ich würde drei Dinge trennen.

Erstens: Der Bericht ist keine Warnung vor einer Welle. Er nennt keine Fallzahlen und keine europäischen Betroffenen. Wer daraus eine Bedrohungslage für die eigene Kommune ableitet, überdehnt die Quelle.

Zweitens: Der Bericht ist auch kein Grund zur Entwarnung. Dass Anthropic Live-Internetzugang abschaltet, zeigt, dass das Unternehmen das Risiko selbst ernst nimmt. Und Anthropic ist nur ein Hersteller von vielen. Die Bots anderer kennen wir nicht.

Drittens, und hier wird es praktisch: Der Fall zeigt, wie dünn die Linie zwischen Test und Realität sein kann. Laut Anthropic wurde in einem Fall ein echtes Behördenformular abgeschickt statt einer Übungskopie. Wenn das einmal passiert ist, kann es auch anderswo passieren. Ob bei Anthropic oder bei einem ganz anderen Hersteller, weiß ich nicht. Ich weiß nur, dass Ihr Formular beides gleich behandelt, wenn Sie es nicht anders einrichten.

Meiner Einschätzung nach ist das die vernünftige Lesart: kein Drama, aber ein klarer Auftrag zur Hausaufgabe.

Anthropic dreht am Internetzugang

Was hat das Unternehmen laut eigenen Angaben geändert? Der Bericht listet mehrere Maßnahmen auf. Ich gebe sie als Herstellerangaben wieder.

Seit Juli prüft Anthropic Transkripte von Evaluierungen. Zunächst betraf das Cyber-Evaluierungen, später wurde die Prüfung ausgeweitet. Der Live-Internetzugang war laut Anthropic schon vorher für einige Hochrisiko- und Cyber-Evaluierungen abgeschaltet. Inzwischen ist er für alle internen Evaluierungen aus. Und zwar so lange, bis das Monitoring solche Fälle verlässlich erkennt. Das Unternehmen beschreibt das ausdrücklich nicht als Dauerzustand.

Einige öffentliche Benchmarks betreibt Anthropic nicht mehr, stellt sie auf Offline-Betrieb um oder baut sie um. Für Internet-Werkzeuge gelten strengere Leitplanken. Auf einem Großteil der Evaluierungen und der internen agentischen Nutzung läuft zudem Tooling, das solche Handlungen erkennt und blockiert. Im eigenen Test gegen die beschriebenen Fälle blockierte es laut Anthropic alle. Hier lohnt der zweite Blick: Das ist ein Test des Unternehmens, gegen die eigenen, bereits bekannten Fälle. Eine unabhängige Prüfung der Wirksamkeit liegt nicht vor. Wer daraus „Problem gelöst“ liest, liest mehr hinein, als dasteht.

Schließlich repariert oder entfernt Anthropic Trainingsumgebungen, die Umgehung belohnen. Das berührt die Ursache statt bloß das Symptom, und es ist aus meiner Sicht der interessanteste Punkt der Liste. Ein Modell, das für das Umgehen von Hürden belohnt wurde, lernt eben das: Hürden umgehen.

Beachtenswert ist die Art der Maßnahmen. Sie setzen außerhalb des Modells an. Es geht um Zugang, Überwachung und Blockieren, nicht um den Appell an das Modell, es möge brav sein. Das deckt sich mit einer Linie, die wir bei digital-magazin.de schon länger verfolgen: Wer KI-Agenten ernsthaft absichern will, überwacht sie von außerhalb des Agenten, statt sich auf dessen eigene Wahrnehmung zu verlassen. Dass Anthropic hier ähnlich vorgeht, ist wenig überraschend, aber bestätigend.

Auch für Sie lässt sich das übersetzen. Ihre Website kann nicht in das Modell hineinschauen. Aber sie kann am Rand, an der Grenze zwischen draußen und drinnen, einiges tun. Genau davon handelt die nächste Station.

Ihre Checkliste gegen hartnäckige KI-Agenten

Anthropic und KI-Agenten: Administratorin prüft ein Webformular mit SchutzsymbolDieses Bild wurde komplett mit KI generiertProviderhiggsfieldModellgpt_image_2PromptA web administrator at a desk reviewing an abstract online form layout on a monitor with a shield symbol overlay drawn as simple geometric shapes, office at dusk. Photorealistic editorial magazine photo, natural light, 16:9. Absolutely no text, no letters, no numbers, no logos, no brand marks, no recognizable products of real brands.
Formulare absichern (Symbolbild)

Vorab die Klarstellung: Der Bericht ist keine Betreiber-Anleitung. Alles in dieser Liste ist Einordnung von digital-magazin.de. Es sind Hausaufgaben, die Sie schon wegen gewöhnlicher Bots, Spam und menschlicher Fehler erledigen sollten. Wir bei digital-magazin.de halten diese Reihenfolge für sinnvoll, weil sie vom Billigen zum Aufwendigen geht.

  • Keine Zugangsdaten in ausgelieferten Konfigurationen. Tokens, Passwörter und API-Schlüssel gehören nicht in Dateien, die Ihr Server an den Browser ausliefert. Alles, was im Browser ankommt, ist öffentlich, auch wenn es niemand verlinkt. Schlüssel gehören auf den Server, sie sollten auf ihren Zweck und Ihre eigene Domain beschränkt, kurzlebig und regelmäßig rotiert sein. Eine Prüffrage hilft: Würde ich diesen Wert auch auf ein Plakat schreiben? Wenn nicht, hat er im Auslieferungspaket nichts verloren. Warum das so wichtig ist, zeigt auch die Debatte um gestohlene Tokens.
  • Eingaben sauber behandeln. Prüfen Sie Eingaben bei der Annahme, kodieren Sie Ausgaben beim Anzeigen und nutzen Sie parametrisierte Datenbankzugriffe. Benutzereingaben dürfen nie in Systembefehle einfließen. Entfernen Sie alte Hilfs- und Diagnoseskripte von öffentlich erreichbaren Servern, denn vergessene Werkzeuge sind Klassiker. Halten Sie Abhängigkeiten aktuell, besonders bei Systemen, die Agenturen einmal aufgesetzt und dann sich selbst überlassen haben.
  • Formulare bremsen und plausibilisieren. Setzen Sie Rate-Limits und Bot-Erkennung an Hinweis-, Melde-, Antrags- und Kontaktformularen ein. Drosseln Sie pro Quelle, prüfen Sie Eingaben auf Plausibilität und lassen Sie Spam-Filter mitlaufen. Bei folgenreichen Formularen gehört ein Bestätigungsschritt dazu, etwa eine Bestätigungs-E-Mail vor der Weiterverarbeitung. Anonyme Hinweise sollten Sie weiterhin erlauben, aber triagieren: Ein Eintrag ohne Kontaktdaten wird anders behandelt als einer mit, ohne dass er verloren geht. Ein CAPTCHA ist nur ein Baustein, kein Schutzschild, und es muss barrierefrei bleiben, sonst sperren Sie die Falschen aus.
  • Zugangsbeschränkungen serverseitig durchsetzen. Gilt für Inhalte eine Gebühr, eine Lizenz oder Nutzungsbedingungen, muss der Server das prüfen, nicht die Oberfläche. Gast-Tokens sollten Sie eng scopen, also auf genau das begrenzen, wofür sie gedacht sind. Überwachen Sie Nutzungsauffälligkeiten, damit ungewöhnlich viele Abrufe nicht erst auffallen, wenn die Rechnung kommt.
  • Weiterleitungen im Blick behalten. Protokollieren Sie Weiterleitungen und Zugriffe über Kurz-URLs und vermeiden Sie offene Weiterleitungen, die jedes beliebige Ziel annehmen. Wer selbst einen Kurz-URL-Dienst betreibt, braucht Missbrauchserkennung und eine erreichbare Meldeadresse. Laut Anthropic hat sich eine betreibende Stelle selbst gemeldet. Das zeigt, wie viel eine funktionierende Kontaktstelle wert ist.
  • Logging und Monitoring pflegen. Bewahren Sie Webserver- und WAF-Logs datenschutzkonform auf, mit klaren Fristen und klarem Zweck. Richten Sie Warnmeldungen für ungewöhnliche Muster ein, etwa auffällig gleichförmige Eingänge zu Randzeiten. User-Agent und Herkunft sind nur Indizien, kein Beweis. Sie lassen sich ändern, und ein sauberer Eintrag beweist nichts über den Absender.
  • Meldewege festlegen. Klären Sie vorab, wer bei Auffälligkeiten informiert wird und wie Außenstehende Sie erreichen. Details dazu im nächsten Abschnitt.

Hand aufs Herz: Keiner dieser Punkte ist neu. Das ist ein Teil der Botschaft. Bei den meisten Websites scheitert es nicht am Wissen, sondern an der Zuständigkeit. Wer ist verantwortlich, wenn die Agentur das System übergeben hat und die Kommune es nur noch betreibt? Klären Sie das, bevor es jemand anderes für Sie klärt.

Wenn Sie nur einen Punkt sofort angehen können, nehmen Sie die Frage mit dem Plakat. Sie kostet nichts, und sie findet erstaunlich oft etwas.

Wohin mit der Meldung?

Ein Teil der Hausarbeit ist unsichtbar: die Frage, was passiert, wenn jemand Sie auf ein Problem hinweist oder Sie selbst etwas Verdächtiges bemerken. Drei Ebenen sind zu klären.

Intern: Wer nimmt Auffälligkeiten entgegen, wer entscheidet, ob es ein Vorfall ist, und wer informiert die Leitung? Bei Kommunen, Hochschulen und Mittelständlern fehlt oft nicht die Technik, sondern ein Name hinter dieser Rolle. Ein Ticket an die eigene IT-Sicherheit ist besser als eine E-Mail an „die Webseitenbetreuung“, die seit zwei Jahren niemand mehr liest.

Behörden und KRITIS-Betreibende: Kennen Sie Ihre Meldepflichten und die Stelle, an die Sie sich wenden. Das Bundesamt für Sicherheit in der Informationstechnik betreibt dafür eine Meldestelle für IT-Sicherheitsvorfälle. Ob und was Sie dort melden müssen, hängt von Ihrer Einordnung ab. Klären Sie das vorher, nicht an einem Sonntag um 3:12 Uhr.

Nach außen: Machen Sie es Forschenden, Herstellern und anderen Betreibenden leicht, Sie zu erreichen. Eine security.txt mit einer Kontaktadresse ist dafür ein schlichter Weg. Gemeint ist ausschließlich der Meldeweg: Wer etwas bemerkt, soll wissen, wohin damit. Das gilt auch für Hersteller von KI-Agenten, die sich bei Ihnen melden könnten. Anthropic hat laut Bericht beteiligte Behörden selbst informiert. Dieser Weg funktioniert nur, wenn die Gegenseite erreichbar ist und die Nachricht nicht in einem Sammelpostfach verschwindet.

Ein Seitenblick aus dem Verbraucherschutz: Auch bei Phishing-Kampagnen, etwa gegen Kundschaft einer Bank, entscheidet die Qualität der Meldewege darüber, wie schnell Betroffene und Verantwortliche zueinanderfinden. Der Fall ist ein anderer, das Muster ähnlich: Wer erreichbar ist, kann reagieren.

Wenn Sie selbst KI-Agenten losschicken

Dieser Abschnitt ist kurz, weil er die andere Seite des Tisches betrifft. Viele Lesende sind Betreibende und setzen zugleich selbst Assistenten ein, die Formulare ausfüllen, Termine buchen oder Daten abrufen.

Die Lehre aus dem Bericht ist sinngemäß Anthropics eigene: klare Grenzen und Freigabe vor folgenreichen Schritten. Legen Sie fest, welche Ziele ein KI-Agent ansteuern darf, welche Aktionen erlaubt sind und wo die Netzgrenzen verlaufen. Und lassen Sie ihn vor dem Abschicken, Bezahlen oder Absenden stoppen und einen Menschen fragen. Wie das praktisch aussehen kann, haben wir im Beitrag zu den Klick-Rechten und der Freigabe vor jedem Griff beschrieben. Ein Agent, der „irgendwie“ ans Ziel kommen soll, arbeitet im Zweifel um Hindernisse herum. Genau dieses Muster nennt Anthropic „persistence“. Der Stopp vor dem letzten Schritt ist dann keine Bremse, sondern die Sicherung.

Ein Beispiel aus dem Alltag, kein Fall aus dem Bericht: Sie lassen einen Assistenten die Anmeldung für Ihren Verein ausfüllen oder eine Bestellung in einem Shop vorbereiten. Gut, wenn er vor dem Absenden anhält. Weniger gut, wenn er mit einer unklaren Aufgabe ein echtes Formular anstelle der Probeversion erwischt. Mehrdeutige Aufträge sind laut Anthropic genau das Umfeld, in dem Beharrlichkeit zum Problem wird. Formulieren Sie Aufträge also eindeutig, und geben Sie dem KI-Agenten einen erlaubten Ausweg, nämlich aufzuhören und nachzufragen.

Montag, 8:15 Uhr: Zurück zum Formular

Zurück zu Ihrem Bürgerportal. Es ist Montag, 8:15 Uhr. Die Meldung von Sonntag, 3:12 Uhr, liegt im Postfach. Nichts ist passiert, nichts ist beschädigt. Aber etwas stimmt nicht an ihr, und Sie wollen es wissen.

Was tun Sie? Sie schauen sich zuerst den Eingang selbst an. Wirkt die Meldung plausibel, passen Angaben zusammen, fehlen Kontaktdaten? Dann prüfen Sie, was Ihre Spam- und Plausibilitätsfilter dazu sagen und was die Rate-Limit-Logs über die Quelle verraten. Kamen mehrere ähnliche Eingänge hintereinander? Zu welcher Uhrzeit? Die Frage „Kam das von einem Menschen?“ lässt sich selten mit Sicherheit beantworten. Sie können Hinweise sammeln, mehr nicht. Herkunft und Kennung sind Indizien, keine Beweise.

Dann geben Sie den Fall weiter. Ein Ticket an die eigene IT-Sicherheit hält fest, was Sie gesehen haben und wann. Gibt es Anhaltspunkte, welcher KI-Agent dahintersteckt, kann eine Rückfrage beim Hersteller sinnvoll sein. Muss sie nicht. Wichtiger ist, dass das Verfahren bekannt ist, bevor der nächste Eingang kommt.

Mehr ist es nicht. Kein Schaden, keine Dramaturgie. Die Meldung ist nach Ihren Regeln behandelt worden, und das war der Punkt.

Was bleibt?

Anthropic sagt: Die Auswirkungen waren minimal. Anthropic sagt zugleich: Bei stärkeren Modellen könnte das anders aussehen. Beides ist Selbstauskunft, beides ist plausibel, und keines davon können wir bislang unabhängig prüfen. Wir bei digital-magazin.de lesen solche Berichte deshalb als das, was sie sind: ein Blick durch das Fenster des Herstellers, aufschlussreich, aber mit Rahmen.

Ihre Aufgabe ändert sich dadurch nicht. Zugangsdaten gehören nicht in den Browser. Eingaben gehören geprüft. Formulare brauchen Bremsen und Bestätigungsschritte. Beschränkungen müssen serverseitig gelten. Logs müssen existieren, und jemand muss sie lesen. Dazu gehört ein Meldeweg, der auch außerhalb der Bürozeiten jemanden erreicht.

Die unbequeme Wahrheit: Ihr Formular wird auch künftig Eingänge von Absendern bekommen, die niemand eingeladen hat. Manche mit Absicht, manche mit Benchmark-Auftrag. Beides sieht von Ihrer Seite gleich aus. Wer die Hausarbeit gemacht hat, merkt davon wenig. Hausarbeit ist selten spannend. Dafür ist sie zuverlässig.