EDPB-Leitlinien zum Web Scraping: Was sie für öffentliche Texte und das KI-Training bedeuten

Der Europäische Datenschutzausschuss (EDPB) hat am 7. Juli 2026 die Leitlinien 03/2026 zum Web Scraping im Kontext generativer künstlicher Intelligenz (KI) in Version 1.0 angenommen. Laut der EDPB-Konsultationsseite nahm das Gremium bis zum 30. Oktober 2026, 23:59 Uhr mitteleuropäischer Zeit (CET), Rückmeldungen entgegen. Betroffen sind Blogposts, Forenprofile und offene Lebensläufe.

Die Leitlinien ändern nicht morgen den Chatbot. Sie verändern, woran sich die Glaubwürdigkeit der Aussage messen lässt, ein Anbieter sammle Daten verantwortungsvoll. Für Nutzende stehen drei Dinge im Mittelpunkt: Quellenlisten, Opt-outs und Minimierungsfilter. Grundlage dieses Beitrags ist die PDF-Fassung der Leitlinien in Version 1.0 vom 7. Juli 2026.

Die Leitlinien regeln das Sammeln von Webdaten für das Training generativer KI

Die Leitlinien behandeln das Web Scraping durch private Stellen, die Daten aus Internetquellen für das Training generativer KI sammeln, entweder selbst oder über Auftragnehmer. Gesammelt wird aus öffentlich verfügbaren Webdiensten, oft ohne Wissen der Betroffenen. Genau daraus ergibt sich das Datenschutzrisiko.

Die Datenschutz-Grundverordnung (DSGVO) greift, sobald personenbezogene Daten verarbeitet werden, etwa beim Erheben, Speichern, Organisieren oder Abrufen. Je nach Fall sind Anbieter Verantwortliche, gemeinsam Verantwortliche oder Auftragsverarbeiter. Es gelten Zweckbindung, Transparenz und Datenminimierung. Als Rechtsgrundlage dient häufig das berechtigte Interesse nach Artikel 6 Absatz 1 Buchstabe f. Besondere Kategorien personenbezogener Daten nach Artikel 9 dürfen nur verarbeitet werden, wenn eine Ausnahme greift.

Die Grundsätze selbst sind nicht neu. Neu ist die gebündelte, praxistaugliche Übersicht, die speziell auf das KI-Training durch automatisiertes Durchsuchen des Webs zugeschnitten ist.

Anbieter müssen Quellen öffentlich benennen, wenn sie Betroffene nicht einzeln informieren

Wer sich darauf beruft, Betroffene nicht einzeln zu informieren, muss die Informationen öffentlich machen. Die Ausnahme steht in Artikel 14 Absatz 5 Buchstabe b DSGVO und gilt bei Unmöglichkeit oder unverhältnismäßigem Aufwand. Die öffentliche Information muss eine präzise Angabe der Quellen enthalten und sagen, ob diese öffentlich zugänglich sind. Beim Scraping kommen Angaben zu den Merkmalen des Crawlers hinzu, also des Programms, das die Seiten durchsucht.

Bei Massenabrufen ist eine Einzelbenachrichtigung häufig unmöglich oder unverhältnismäßig. Wer die Ausnahme nutzt, muss den Aufwand gegen die Auswirkungen auf die Betroffenen abwägen, und zwar für den Datensatz als Ganzes. Faktoren sind unter anderem die Zahl der Betroffenen, das Alter der Daten und die Schutzmaßnahmen.

Eine Maßnahme müssen Verantwortliche laut Leitlinien immer ergreifen: öffentliche Information, etwa in der Datenschutzerklärung oder in einem eigenen Hinweis. Darin gehören Kategorien, Zwecke, Rechtsgrundlage, die präzise Quellenangabe und die Merkmale des Crawls.

Für Nutzende folgt daraus ein einfacher Maßstab. Sagt ein Anbieter nur, er trainiere mit öffentlichen Webdaten, und liefert keine brauchbare Quellenübersicht, ist das dünn. Auf den Seiten zu Trainingsdaten lohnt die Suche nach Quellenzusammenfassungen, Domainlisten und Crawler-Namen statt nach Werbetexten. Dass ein Text öffentlich im Netz steht, bedeutet nach Auffassung des EDPB nicht, dass er ohne Abwägung weiterverarbeitet werden darf.

Zur technischen Seite von Bot-Präferenzen und Crawler-Steuerung gibt es einen Beitrag über Cloudflare Bot Preference Sync und Robots-Dateien für KI-Crawler. Er zeigt die praktischen Stellschrauben neben der rechtlichen Logik des EDPB.

Robots.txt, ai.txt und CAPTCHA sind Signale, die Anbieter bei der Minimierung beachten sollen

Datenminimierung verbietet große Trainingsmengen nicht, verlangt aber, nur die Daten zu erheben, die für den Zweck nötig sind. Vor der Erhebung nennen die Leitlinien mehrere Maßnahmen: synthetische Daten erwägen, präzise Kriterien festlegen, eine Bestandsaufnahme der Daten führen und Filter einsetzen. Außerdem sollen Seiten ausgeschlossen werden, die strukturell bestimmte Daten enthalten oder dem Scraping klar widersprechen. Nach der Erhebung folgen syntaxbasierte Filter, synthetische Daten sowie Anonymisierung oder Pseudonymisierung, soweit machbar.

Im Minimierungskontext nennen die Leitlinien Authentifizierung vor dem Zugriff auf Inhalte, die Dateien robots.txt und ai.txt sowie CAPTCHA-Abfragen. Das sind Mechanismen, die Hürden errichten. Verantwortliche sollen Seiten ausschließen, die Scraping ablehnen.

Für Betreibende von Websites ist ein Punkt wichtig: Eine fehlende robots.txt-Datei bedeutet laut Leitlinien keine Einwilligung. Umgekehrt ist eine klare Ablehnung über solche Mittel ein Signal, das in Minimierung und Interessenabwägung einfließen muss. Das ersetzt keine Rechtsberatung, es ist aber der sichtbare Filter, den die Leitlinien ernst nehmen.

Auch Qualität gehört zur Minimierung. Für die Richtigkeit der Daten sollen Verantwortliche zuverlässige Quellen auswerten, Daten mit Zeitstempeln versehen und sie vor dem Training validieren. Personenbezogene Fehler werden zu Risiken für Datenschutz und Ruf, wenn Modelle Trainingsdaten memorisieren oder wörtlich wiedergeben. Weniger Schrott mit Klarnamen ist deshalb ein Ziel für sich.

Als weitere Schutzmaßnahme erwähnen die Leitlinien Opt-out-Listen. Betroffene können damit signalisieren, dass ihre Daten nicht oder nicht weiter für bestimmte Scraping- oder Trainingszwecke genutzt werden sollen. Das ersetzt nicht automatisch die Rechte aus den Artikeln 15 bis 22 DSGVO, bietet aber einen praxistauglichen Kanal neben der Datenschutzerklärung.

Anbieter sollten sich daran messen lassen, ob es einen maschinenlesbaren oder formularbasierten Opt-out gibt. Ebenso wichtig ist, wie schnell er auf künftige Crawls wirkt und was mit bereits gespeicherten Datensätzen geschieht. Wer nur eine Kontaktadresse der Rechtsabteilung nennt, bietet Reibung statt Recht. Bei Foren sollten Moderationsregeln und die Scraping-Ablehnung in robots.txt und ai.txt zusammenpassen.

Das berechtigte Interesse trägt das Scraping nur unter drei Bedingungen

Private Stellen stützen das Scraping für das KI-Training oft auf das berechtigte Interesse nach Artikel 6 Absatz 1 Buchstabe f, die Leitlinien verlangen dafür jedoch drei Bedingungen gleichzeitig:

1. Es besteht ein berechtigtes Interesse des Verantwortlichen oder Dritter.
2. Die Verarbeitung ist für dieses Interesse notwendig.
3. In der Abwägung überwiegen die Interessen und Grundrechte der Betroffenen nicht.

In der Abwägung helfen Schutzmaßnahmen. Dazu zählen der Ausschluss bestimmter Kategorien und Quellen von vornherein, die Beschränkung auf frei zugängliche Daten, mehr Transparenz und erleichterte Betroffenenrechte. Hinzu kommen frühestmögliches Löschen oder Anonymisieren, Pseudonymisieren und später Maßnahmen gegen Memorisierung, wörtliche Wiedergabe und Angriffe auf Modelle. Der Hinweis „Es steht online“ ersetzt die Abwägung nicht.

Wer sich allgemein für Vertraulichkeitslücken bei KI interessiert, findet im Beitrag zu kritischen Vertraulichkeitslücken beim KI-Datenschutz eine andere Baustelle mit derselben Disziplin: Schutz muss belegt werden, nicht behauptet.

Besondere Kategorien nach Artikel 9 sind grundsätzlich verboten. Erfasst Scraping solche Daten, braucht es zusätzlich eine Ausnahme nach Artikel 9 Absatz 2 und eine Grundlage nach Artikel 6. Für zufällige oder restliche Erfassung verweisen die Leitlinien auf die Rechtsprechung des Europäischen Gerichtshofs im Fall GC und andere (C-136/17). Sie gilt, wenn Verantwortliche im Rahmen ihrer Verantwortlichkeiten und Möglichkeiten technische und organisatorische Maßnahmen treffen, um Erhebung und Verbreitung zu verhindern. Das erfordert eine Prüfung des Einzelfalls und ist kein Freifahrtschein. Besonders heikel sind Forenbeiträge zu Gesundheit, Religion oder Sexualität, weshalb Minimierungsfilter und Ausschlusslisten dort Pflicht sind.

Auch die Rollenverteilung ist in den Leitlinien geregelt. Scrapt eine Partei im Auftrag eines KI-Entwicklers nach dokumentierten Anweisungen zu Quellen und Kategorien, kann sie Auftragsverarbeiter sein und der Entwickler Verantwortlicher. Nutzt ein Entwickler bereits gesammelte Datensätze einer anderen Stelle, liegen die Verantwortlichkeiten oft getrennt. Eine gemeinsame Verantwortung ist möglich, wenn Zwecke und Mittel gemeinsam festgelegt werden. Kauft ein Anbieter Datensätze, verschwindet der Datenschutz deshalb nicht, es verschieben sich nur die Rollen, und die Rechenschaftspflicht bleibt.

Für die Umsetzung im Alltag hilft der Beitrag Datenschutz praktisch umsetzen, der mit Checklisten arbeitet.

Betreibende und Nutzende können mit wenig Aufwand handeln

Website-Betreibende schaffen die wichtigsten Schritte in etwa einer Stunde, und das bringt mehr als ein wütender Thread ohne technische Spur:

1. Die Datei robots.txt öffnen und die Zeilen für KI-Crawler prüfen.
2. Eine Datei ai.txt anlegen oder aktualisieren, falls die eigene technische Umgebung das unterstützt.
3. Mitgliederbereiche hinter einem Login belassen und sensible Bereiche mit CAPTCHA oder Anmeldung schützen.
4. Im Impressum oder in der Datenschutzerklärung vermerken, dass Scraping für KI unerwünscht ist, und zwar im Einklang mit den Dateien.
5. Öffentliche Profile auf besondere Kategorien und Klarnamen prüfen und bereinigen.
6. Einen Screenshot der Einstellungen für eine mögliche Stellungnahme speichern.

Je nach Angebot sehen die Schritte unterschiedlich aus:

• Blog mit Kommentaren: Öffentliche Beiträge enthalten oft Klarnamen. Sinnvoll sind eine robots.txt, sensible Kommentarthreads hinter einem Login und ein Hinweis auf die Scraping-Ablehnung in der Datenschutzerklärung.
• Berufliches Profil: Beim online stehenden Lebenslauf sollten besondere Kategorien vermieden werden. Bei KI-Anbietern lohnt die Suche nach einem Opt-out.
• Elternforum: Gesundheitsdetails in Threads bedeuten ein hohes Risiko nach Artikel 9. Moderieren, löschen und einen Login einrichten sind hier angezeigt, dazu die Ablehnung technisch und textlich.
• Redaktion: Soll das eigene Archiv durchsucht werden dürfen, müssen Rollen geklärt, der Zweck dokumentiert und die Daten minimiert werden. Die Leitlinien gelten auch nach innen, wenn personenbezogene Archive betroffen sind.

Version 1.0 der Leitlinien war vom 8. Juli bis 30. Oktober 2026, 23:59 CET, in öffentlicher Konsultation. Kommentare wurden über das EDPB-Formular entgegengenommen, eingereichte Beiträge werden veröffentlicht. Fristen erzeugen Druck, und Druck schärft Formulierungen. Wer schweigt, überlässt die Nuancen Lobbyisten und Großanbietern. Für kleinere Publisher, Forenbetreibende, Journalisten und Entwickler war das Verfahren daher die Gelegenheit, kurz und konkret zu robots.txt, ai.txt, Quellenlisten und Opt-outs Stellung zu nehmen. Nach der Konsultation kann der Text noch nachjustiert werden.

Dieses Bild wurde mit KI generiertProviderhiggsfieldModellgpt_image_2PromptDesk calendar page marked late October next to a closed privacy policy folder, soft daylight European office, documentary style, no logos, no readable text, 16:9

Chatbot-Nutzende werden keine neue Kennzeichnung in der Oberfläche bemerken. Sichtbar werden könnten mehr Seiten zu Trainingsdaten, klarere Angaben zu Crawlern und ernsthaftere Opt-out-Angebote, vorausgesetzt, Anbieter nehmen die Leitlinien ernst. Glaubwürdigkeit wächst mit Listen und Filtern und sinkt mit Aussagen wie „öffentliches Web, vertraut uns“.

Drei Prüfpunkte helfen bei der Bewertung eines Anbieters. Es sollte eine Quellenübersicht geben. Der Anbieter sollte benennen, welche Seiten er wegen robots.txt, ai.txt oder CAPTCHA ausschließt. Und er sollte erklären, wie er besondere Kategorien filtert. Wer dazu nichts Konkretes liefert, scrapt rhetorisch verantwortungsvoll und praktisch unsauber.

Zu erwarten ist dagegen nicht, dass die Leitlinien den eigenen Text aus bereits trainierten Modellen entfernen. Sie steuern die künftige Scraping-Praxis und die Abwägung. Das Bild eines offenen Marktplatzes passt: Der Händler mit dem Staubsaugerwagen soll Filter einschalten, Schilder lesen und eine Liste führen, der Marktplatz selbst verschwindet nicht. Die Lage unterscheidet sich je nach Rolle. Lesende dürfen Transparenz erwarten, Betreibende sollten technische Ablehnungssignale setzen, und KI-Teams müssen Rollen klären, die Abwägung dokumentieren und vor dem Crawl minimieren. Die Leitlinien drehen damit die übliche Reihenfolge um: erst Zweck, Minimierung und Abwägung, dann die Skalierung.

Kim Icon hält die Leitlinien für einen der nützlichsten EDPB-Texte des Jahres für den KI-Alltag, sieht in Artikel 14 Absatz 5 Buchstabe b aber ein Schlupfloch, solange Quellenlisten dünn bleiben.

Einen breiteren Kontext zu europäischen Datenschutz-Debatten bietet der Beitrag über die Datenschutz-Wende mit Fristen und Sicherheitskomponenten.

Die Aussage „Wir scrapen nur das öffentliche Web“ ist keine Datenschutzgeschichte. Eine solche Geschichte erzählt, wer Quellen listet, robots.txt, ai.txt und CAPTCHA respektiert, besondere Kategorien filtert und Opt-outs anbietet. Genau diese Messlatte legen die EDPB-Leitlinien 03/2026 an. Der eigene öffentliche Text ist damit nicht vogelfrei: Scraping für generative KI braucht einen Zweck, einen Transparenzpfad und Minimierung.