Screaming Frog 24: 6 neue SEO-Hebel im Check

Screaming Frog 24 macht aus dem SEO Spider kein Spielzeug für KI-Fans, sondern ein ziemlich ernstes Automatisierungswerkzeug. Die neue Version bringt MCP-Anbindung, automatische Crawl-Vergleiche, bessere Mail-Reports und einen nüchternen Blick auf Links, die Google zwar vielleicht findet, auf die man sich aber besser nicht verlässt.

Wer schon einmal einen größeren Crawl in Screaming Frog gestartet hat, kennt diesen Moment: Der Lüfter dreht hoch, die Tabellen füllen sich, und irgendwo zwischen 12.000 Weiterleitungen, leeren Meta Descriptions und kaputten Canonicals fragt man sich, warum das alles noch so manuell wirkt. Screaming Frog 24 setzt genau dort an. Nicht mit einem glitzernden KI-Button, der aus Chaos angeblich Strategie macht. Sondern mit Funktionen, die stumpfe Fleißarbeit aus dem Alltag von SEO-Teams ziehen.

Das klingt weniger sexy als „KI schreibt jetzt Ihre SEO-Strategie“. Ist aber nützlicher.

Die offizielle Veröffentlichung kam am 19. Mai, am 8. Juni folgte bereits Version 24.1 mit Bugfixes und kleineren MCP-Verbesserungen. Nach unserer Recherche bei digital-magazin.de ist vor allem eine Verschiebung spannend: Der SEO Spider wird stärker zu einem Werkzeug, das Daten nicht nur einsammelt, sondern direkt in Arbeitsabläufe eingespannt wird. Für Agenturen, Inhouse-SEO und technische Redaktionen ist das der eigentliche Punkt.

Screaming Frog 24 bringt den SEO Spider an KI-Assistenten

Das auffälligste neue Feature heißt MCP Server. MCP steht für Model Context Protocol und ist grob gesagt eine Schnittstelle, über die ein KI-Assistent mit einem lokalen Tool sprechen kann. In Screaming Frog 24 bedeutet das: Claude, LM Studio und andere Assistenten können Crawls starten, Daten analysieren, Exporte anstoßen oder Ergebnisse in eine andere Form bringen.

Wichtig ist die Einschränkung. Der SEO Spider wird dadurch nicht zu einem vollautomatischen SEO-Berater. Screaming Frog selbst schreibt in der offiziellen Ankündigung zu Version 24.0, dass der MCP nicht jede Funktion abdeckt und anhand von Feedback erweitert werden soll. Das ist ehrlich. Und ehrlich gesagt beruhigend.

Denn die Gefahr liegt auf der Hand: Wer einem Sprachmodell ungefiltert Crawl-Daten gibt, bekommt schnell hübsche Sätze über Probleme, die es nicht sauber priorisieren kann. Spannend wird MCP erst dann, wenn die Aufgabe klar begrenzt ist. „Fasse die neuen 404-Fehler seit dem letzten Crawl zusammen.“ Oder: „Erstelle eine CSV mit Seiten, deren Title verschwunden ist und deren organischer Traffic relevant war.“ Das ist keine Magie. Das ist ein brauchbarer Assistent mit Zugriff auf das richtige Werkzeug.

Damit rückt Screaming Frog in dieselbe Entwicklungslinie wie viele aktuelle Developer-Tools. Wir haben bei digital-magazin.de zuletzt häufiger gesehen, dass die besten KI-Integrationen nicht aus Chatfenstern bestehen, sondern aus sauberen Schnittstellen zu echten Arbeitsdaten. Das passt auch zu unserem Blick auf das Claude Agent SDK als Werkzeug für Entwickler-Workflows: KI wird erst dann produktiv, wenn sie nicht raten muss.

SEO-Automatisierung ohne Bauchladen: Auto Compare Crawls

Das zweite große Feature klingt fast langweilig: Auto Compare Crawls. Bei geplanten Crawls und CLI-Läufen kann Screaming Frog 24 automatisch die letzten zwei Crawls eines Projekts vergleichen. Wer technische SEO ernst nimmt, merkt sofort, warum das stark ist.

Viele Audits scheitern nicht daran, dass niemand Probleme findet. Sie scheitern daran, dass niemand erkennt, wann ein Problem neu ist. Eine Website mit 300 fehlenden Meta Descriptions kann stabil sein. Eine Website, die über Nacht 300 neue fehlende Meta Descriptions produziert, hat ein echtes Problem. Genau diese Differenz ist im Alltag Gold wert.

Der manuelle Vergleich war schon vorher möglich. Screaming Frog beschreibt im Tutorial zum Vergleich von Crawls, wie sich Crawl-Daten, Site-Struktur, Titel, Meta Descriptions, H1, Wortzahl, Crawl Depth oder interne Links vergleichen lassen. Version 24 macht daraus einen planbaren Ablauf. Das ist weniger Klickarbeit, weniger Vergessen, weniger „hat jemand den letzten Crawl geöffnet?“.

Für Shops ist das besonders relevant. Ein Deployment verändert Templates, Filterseiten, Canonicals oder interne Linkstrukturen oft schneller, als ein SEO-Team reagieren kann. In einem E-Commerce-Setup, in dem Produktverfügbarkeit, Facettennavigation und Kategoriepflege ständig in Bewegung sind, kann ein automatischer Vergleich der Unterschied zwischen sauberem Monitoring und wöchentlichem Tabellen-Sumpf sein. Wer sich mit KI-Suche im Handel beschäftigt, kennt die gleiche Grundfrage: Daten verändern sich schneller als die manuelle Kontrolle hinterherkommt. Genau darum passt der neue Spider auch zu unserem Artikel darüber, wie Online-Händler auf KI-Suche reagieren müssen.

Spider-Reports landen endlich dort, wo Arbeit passiert

Ein unterschätztes Update steckt in den E-Mail-Benachrichtigungen. Screaming Frog 24 kann Crawl-Änderungen direkt in Mail-Reports anzeigen. Bei aktivem Auto Compare erscheinen die Veränderungen zwischen den letzten zwei Crawls direkt im Postfach: neue Issues, verschwundene Seiten, mehr nicht indexierbare URLs oder Titel, die plötzlich fehlen.

Das klingt banal. Ist es nicht.

SEO-Tools produzieren zu oft Berichte, die nur die Person sieht, die das Tool geöffnet hat. In der Realität müssen aber Entwicklung, Content, Produktmanagement und manchmal sogar Recht oder PR reagieren. Wenn ein kaputter Canonical nach einem Release im E-Mail-Report steht, muss niemand erst in eine Crawl-Datei eintauchen. Die Information wandert näher an die Stelle, an der etwas behoben wird.

Neu ist auch, dass Exporte automatisch als gezippte Anhänge verschickt werden können. Beispiel: Jeden Montag geht der Broken-Links-Export an das Entwicklungsteam, der Issues-Report an die SEO-Leitung und eine knappe Übersicht an Stakeholder. Natürlich bleibt das nur dann sinnvoll, wenn die Empfänger wirklich wissen, was sie damit anfangen sollen. Blind verschickte SEO-CSV-Dateien sind die Bürovariante eines Feueralarms ohne Feuerplan.

Aber richtig eingerichtet ist das ein klarer Gewinn. Nicht spektakulär. Praktisch.

Uncrawlable Links: SEO wird wieder handwerklich

Eine der besten Neuerungen ist nicht KI-getrieben, sondern handwerklich: Screaming Frog 24 erkennt typische interne Outlinks, die im HTML wie Links wirken, aber nicht den empfohlenen Link-Mustern entsprechen. Dazu gehören Konstrukte wie <span href="https://example.com">, <div href="https://example.com">, JavaScript-Onclick-Links oder href="javascript:...".

Google formuliert seine Link-Empfehlungen ziemlich klar: Crawlbarkeit hängt sauber an einem Anchor-Element mit href-Attribut. Google versucht zwar manchmal, andere Muster zu verstehen. Aber „Google könnte es vielleicht erraten“ ist keine technische SEO-Strategie. Das ist Hoffen mit Tabellenhintergrund.

Der neue Filter „Pages With Uncrawlable Internal Outlinks“ und die Spalte „Link Crawlability“ helfen, diese Stellen sichtbar zu machen. Besonders bei JavaScript-lastigen Frontends, Designsystemen und historisch gewachsenen Templates ist das nützlich. Es gibt viele Websites, die optisch perfekte Navigationen haben, technisch aber mit Link-Signalen geizen wie ein CFO im dritten Quartal.

Für SEO-Teams ist die Funktion auch politisch wertvoll. Man kann Entwicklungsteams nicht nur sagen: „Da ist irgendwas mit den Links.“ Man kann konkrete URLs, Code-Muster und betroffene Seiten liefern. Das senkt die Reibung. Und ja, manchmal rettet genau so eine Liste den nächsten Sprint.

SEO Spider 24.1 repariert MCP-Kanten

Die kleine Version 24.1 wirkt auf den ersten Blick wie ein Nachschlag. Sie ist aber wichtig, weil sie zeigt, wo die neue MCP-Anbindung in der Praxis noch knirscht. Laut Release-History von Screaming Frog erschien 24.1 am 8. Juni und bringt vor allem Bugfixes. Im Release-Post nennt Screaming Frog unter anderem Auto-Start für den MCP Server beim App-Launch, Bulk-Export aller Multi-File-Exports im MCP Server, Download der MCP API als Markdown, bessere Fortschrittsmeldungen und Fixes für nicht englische Sprachen.

Gerade der letzte Punkt ist nicht nebensächlich. Viele KI-Toolchains wirken beeindruckend, solange die Umgebung englisch, sauber benannt und demo-tauglich ist. In der deutschen Praxis treffen sie auf Umlaute, Mischsprachen, CMS-Felder, kryptische Kategorien und historisch gewachsene URL-Strukturen. Wenn MCP-Tools in nicht englischen Sprachen ausfallen, ist das kein Schönheitsfehler. Es ist ein Produktivitätsloch.

Auch der Fix für „Page content size too large“ im Tool sf_url_content ist interessant. Große Seiten, aufgeblähte Produktdetailseiten und lange Kategorieseiten sind im echten Web keine Ausnahme. Wer technische SEO automatisiert, muss mit hässlichen Daten umgehen. Saubere Beispiele sind nett fürs Marketing. Schmutzige Beispiele sind Alltag.

Was MCP im SEO-Alltag wirklich leisten kann

Man kann sich die neue MCP-Schnittstelle schnell zu groß vorstellen. Ein SEO-Team spricht mit Claude, Claude bedient Screaming Frog, Screaming Frog findet alles, und am Ende fällt eine perfekte Prioritätenliste heraus. Schönes Bild. Zu schön.

Realistischer sind eng gefasste Workflows. Ein paar Beispiele, die ich für plausibel halte:

• Crawl-Zusammenfassung nach Deployment: Der Assistent zieht aus dem neuen Vergleich nur die Probleme, die seit dem letzten Crawl neu aufgetaucht sind. Kein Vollaudit, sondern ein Release-Check.
• Export-Vorbereitung für Entwicklung: Statt manuell durch Menüs zu klicken, lässt sich eine Liste mit kaputten Links, fehlenden Statuscodes oder problematischen Redirect-Ketten erzeugen.
• Visualisierung von interner Linkstruktur: Mit angebundenen Datenquellen wie Ahrefs können Link-Equity-Analysen verständlicher aufbereitet werden, ohne dass jede Person im Team Screaming Frog aus dem Effeff beherrschen muss.
• Content-Cluster-Prüfung: Der Spider kann Crawl-Daten liefern, ein Assistent kann Auffälligkeiten formulieren. Entscheiden sollte trotzdem ein Mensch, der Suchintention, Business-Ziel und Seitenqualität kennt.

Genau hier liegt die Stärke: nicht im Ersetzen von SEO-Fachleuten, sondern im Entfernen der mechanischen Zwischenarbeit. Ein gutes Team spart dadurch Zeit. Ein schlechtes Team produziert nur schneller Unsinn.

Das Muster kennen wir aus der KI-Entwicklung. Tools, die direkt in Arbeitsumgebungen greifen, sind mächtig. Aber sie brauchen Grenzen, Rechte, Prüfungen und Menschen, die Ergebnisse einordnen können. Unser Blick auf KI-Agenten im Enterprise kommt zu einem ähnlichen Punkt: Agentic AI ist kein Freifahrtschein, sondern ein Architekturthema.

Linux, Java 25 und die drei Arm64-Nutzenden

Ein kleines Detail mit hohem Sympathiewert: Screaming Frog 24 bringt neue Arm64-Linux-Versionen für Ubuntu und Fedora. Screaming Frog kommentiert trocken, die „drei Linux users“ würden sich wieder freuen. Das ist genau die Art Produkt-Humor, die man in Release Notes öfter sehen dürfte.

Technisch ist es trotzdem relevant. Viele SEO- und Daten-Workflows wandern auf leistungsfähige ARM-Maschinen, Mini-PCs oder Linux-Setups. Wer Crawls automatisiert, möchte das nicht zwingend auf einem Büro-Laptop tun, der nebenbei noch 38 Browser-Tabs offen hat. Arm64-Pakete sind deshalb kein Gimmick, sondern Teil einer stillen Professionalisierung.

Auch das Update auf Java 25 zeigt, dass der Spider unter der Oberfläche weiter gepflegt wird. Für Nutzende ist das nicht der Punkt, der Schlagzeilen macht. Aber bei einem Tool, das große Datenmengen lokal verarbeitet, zählen Laufzeitumgebung, Stabilität und Speicherverhalten. Ein Crawl, der nach drei Stunden stirbt, ist keine Anekdote. Er ist verlorene Arbeitszeit.

Warum Screaming Frog 24 für KI-Suche relevant ist

Auf den ersten Blick ist Screaming Frog ein klassisches SEO-Werkzeug: Crawlen, Fehler finden, exportieren, reparieren. Doch die neue Version fällt in eine Phase, in der Suchmaschinen und Antwortsysteme Inhalte anders auswerten. Google AI Mode, Perplexity, ChatGPT Search und klassische organische Treffer ziehen zwar nicht dieselben Daten, aber sie belohnen ähnliche Grundlagen: klare Struktur, erreichbare Seiten, saubere interne Links, eindeutige Titel, verständliche Inhalte.

Wer die technische Basis vernachlässigt, kann mit noch so hübschen KI-Content-Briefings wedeln. Wenn wichtige Seiten nicht sauber erreichbar sind, interne Links in JavaScript-Verstecken liegen oder Canonicals nach einem Deployment verrutschen, wird Sichtbarkeit instabil. Das Team von digital-magazin.de testet regelmäßig, wie sich SEO in Richtung KI-Suche verschiebt. Unser Artikel zu Google AI Mode und neuen SEO-Regeln für Websites zeigt denselben Kern: Maschinen müssen Inhalte verstehen können, bevor sie sie zitieren, ranken oder in Antworten einbauen.

Screaming Frog 24 hilft nicht dabei, bessere Thesen zu formulieren. Es hilft dabei, den Unterbau zu prüfen. Und genau das wird in KI-Suchumgebungen eher wichtiger als unwichtiger.

Wo Teams vorsichtig sein sollten

Bei aller Freude über MCP: Es gibt Risiken. Lokale Crawl-Daten können sensible URLs, Staging-Pfade, Parameter, interne Suchseiten oder Hinweise auf unveröffentlichte Bereiche enthalten. Wer diese Daten einem KI-Assistenten zugänglich macht, muss wissen, wo die Daten verarbeitet werden und welche Modelle beteiligt sind.

Ein lokales Setup mit LM Studio ist anders zu bewerten als ein Cloud-Assistent. Ein Kundenprojekt mit NDA ist anders zu behandeln als die eigene Website. Und ein Export mit vollständigen URLs, Parametern und Fehlerdetails gehört nicht leichtfertig in irgendeinen Prompt-Verlauf. Das klingt streng, ist aber simple Hygiene.

Auch die Qualität der Prompts entscheidet. „Analysiere diesen Crawl“ ist ein schlechter Auftrag. „Nenne nur neue Probleme seit dem letzten Crawl, gruppiert nach Template-Typ, mit maximal fünf Handlungsempfehlungen“ ist brauchbarer. KI-Assistenten sind in solchen Workflows eher Junior-Analysten mit gutem Gedächtnis als Senior-SEOs. Man sollte ihnen Aufgaben geben, keine Verantwortung.

SEO-Teams brauchen jetzt bessere Routinen

Die neue Version lohnt sich vor allem dann, wenn Teams ihre Crawls nicht als Einzelereignis behandeln. Ein Audit alle drei Monate ist besser als nichts, aber es erkennt oft nur den Schaden. Der spannendere Ansatz ist ein Rhythmus: vor Deployment, nach Deployment, wöchentlich für kritische Templates und monatlich für die gesamte Domain. Screaming Frog 24 macht diesen Rhythmus leichter, weil Vergleich und Benachrichtigung nicht mehr komplett an manueller Disziplin hängen.

Ein pragmatisches Setup könnte so aussehen: Für die wichtigsten Seitentypen laufen geplante Crawls. Auto Compare ist aktiv. Die E-Mail-Zusammenfassung geht nicht an den kompletten Verteiler, sondern an eine kleine technische SEO-Gruppe. Nur wenn neue Fehler über einem Grenzwert liegen, wird das Entwicklungsteam eingebunden. Exporte werden so benannt, dass niemand rätseln muss, ob „crawl_final_neu_2.csv“ nun der aktuelle Stand ist. Klingt trocken. Spart Nerven.

Gerade bei Websites mit vielen redaktionellen Inhalten lohnt auch ein Blick auf interne Verlinkung. Wenn neue Artikel kaum eingehende interne Links bekommen, bleiben sie für Suchmaschinen und Nutzende schwerer auffindbar. Das ist kein Problem, das ein KI-Assistent allein löst. Aber ein Crawl kann Seiten mit geringer Linktiefe, dünner Ankertextverteilung oder merkwürdigen Cluster-Brüchen sichtbar machen. Danach kann Redaktion entscheiden, welche Verbindungen fachlich Sinn ergeben.

Für Agenturen ist ein weiterer Punkt interessant: Reporting wird weniger nachträglich. Statt am Monatsende eine große Präsentation zu bauen, können kleine technische Veränderungen laufend dokumentiert werden. Welche Fehler kamen neu dazu? Welche sind verschwunden? Welche Templates sind wiederholt auffällig? Wer diese Fragen regelmäßig beantwortet, wirkt nicht nur besser organisiert. Das Team kann auch schneller zeigen, welche SEO-Arbeit tatsächlich etwas verändert hat.

Was vor dem Update geprüft werden sollte

Wer Screaming Frog 24 produktiv einsetzt, sollte nicht einfach auf „Update“ klicken und sofort den nächsten Kundencrawl starten. Erstens lohnt ein Blick auf bestehende geplante Crawls. Auto Compare ist nur dann hilfreich, wenn Projekte sauber gespeichert sind und Crawl-Historien zusammenpassen. Zweitens sollten Benachrichtigungen bewusst konfiguriert werden. Zu viele Mails sorgen dafür, dass niemand mehr hinschaut.

Drittens braucht der MCP Server klare Regeln. Welche Assistenten dürfen zugreifen? Welche Projekte enthalten sensible Daten? Welche Exporte dürfen automatisch erzeugt werden? Und wer prüft die Ergebnisse, bevor sie in Tickets, Präsentationen oder Kundenmails landen? Das klingt nach Governance-Sprech, ist aber bei SEO-Daten sehr konkret. Eine interne Staging-URL im falschen Kontext ist schnell peinlich.

Viertens sollten Teams testen, ob ihre Sprache, ihr Setup und ihre wichtigsten Workflows sauber funktionieren. Version 24.1 behebt bereits Probleme mit nicht englischen Sprachen. Trotzdem gilt: Erst mit einem kleineren Projekt üben. Dann mit einer echten Domain. Dann automatisieren. Wer die Reihenfolge umdreht, baut sich nur eine schnellere Fehlerquelle.

Screaming Frog bleibt ein Werkzeug für Menschen mit Urteil

Die wichtigste Erkenntnis aus Screaming Frog 24 ist nicht, dass jetzt KI im SEO Spider steckt. Die wichtigere Erkenntnis lautet: Technische SEO wird operativer. Crawls laufen geplant, Vergleiche entstehen automatisch, Reports landen bei den richtigen Personen, KI-Assistenten helfen beim Sortieren, und kaputte Linkmuster werden sichtbarer.

Das verändert den Alltag. Weniger Export-Klickerei. Weniger „ich schaue später rein“. Mehr Monitoring, mehr Nachvollziehbarkeit, mehr Druck auf Teams, technische Probleme nicht als Bauchgefühl zu behandeln.

Für kleine Websites ist das vielleicht überdimensioniert. Wer 80 Seiten betreibt, braucht nicht zwingend eine MCP-gestützte Crawl-Pipeline. Für größere Shops, Publisher, SaaS-Websites und Agenturen sieht es anders aus. Dort ist Screaming Frog 24 ein Schritt in Richtung SEO-Betriebssystem: lokal, datenreich, manchmal kantig, aber sehr nah an echten Problemen.

Und genau deshalb gefällt mir dieses Update. Es verkauft KI nicht als Wunder, sondern als Bedienebene für ein Werkzeug, das Fachleute ohnehin nutzen. Der Rest bleibt Arbeit. Nur eben etwas weniger stumpf.