Warum der Screaming Frog mein absolutes SEO Tool Nr. 1 ist und welche Funktionen auch Du unbedingt testen solltest, wenn Du bessere Rankings erzielen willst, das erfährst Du im Folgenden. Hier sind meine 10 Tipps, die Dein SEO noch besser machen.
Tipp 1: Erst überlegen, dann crawlen
Willst Du eine Seite vollständig crawlen um sie zu analysieren oder kennst Du die Seite schon und Dir reichen einzelne Informationen?
Wenn Du zum Beispiel nur ein einzelnes Verzeichnis crawlen willst, musst Du nur unter „Configuration“ und „Include“ folgenden Befehl eingeben:
.*https://www.domain.com/verzeichnis1/.*
Dann dieses Verzeichnis in „Enter URL to spider“ eintragen und es werden nur noch URLs des ausgewählten Verzeichnisses gecrawlt. Auch können bestimmte URLs mit bestimmten Eigenschaften vom Crawling ausgeschlossen werden, so zum Beispiel URLs, die mit einem „noindex“-Tag versehen sind.
Auch kannst Du Bilder, CSS-Dateien und andere Dateitypen aus dem Crawl herausnehmen. Die Auswahlmöglichkeiten sind groß, deshalb solltest Du Dir immer vor dem Crawling schon überlegen, was genau Du wissen willst und entsprechende Voreinstellungen tätigen, was das Crawling schneller macht und Dir später die Analyse erleichtert.
Tipp 2: Indexierbarkeit sehen
In der Spalte „Indexability“ siehst Du auf einen Blick, ob eine Seite von Google indexiert werden kann. Hat eine Seite nicht den Statuscode 200, ist auf noindex gesetzt, verweist per Canonical auf eine andere Seite oder wurde durch noindex ausgeschlossen, ist sie für Suchmaschinen nicht indexierbar, was Du hier auf einen Blick siehst. Der jeweilige Grund warum das so ist, ist dann in der Spalte „Indexability Status“ erörtert.
Tipp 3: Crawling planen und automatisieren
Unter „File“, „Scheduling“ und dann „Add“ kannst Du die Crawlings zeitlich terminieren. Allgemeine Informationen wie den Namen des Crawls, aber auch das Zeitintervall kannst Du unter „General“ auswählen. Unter „Start Options“ kannst Du einstellen, welche Seiten gecrawlt und welche Daten hinzugezogen werden. Besonders interessant: Du kannst Daten aus der Google Search Console und Google Analytics hinzuziehen und damit beispielsweise automatisierte Qualitätssicherungen erstellen. Dazu aber später mehr.
Unter “Export” können dann verschiedene Einstellungen zum Export eingestellt werden, zum Beispiel, ob die Daten überschrieben werden oder mit Zeitangabe jeweils in neuen Dateien abgespeichert werden sollen. Damit sind automatisierte Qualitätssicherungen ein leichtes Spiel.
Tipp 4: Google-Analytics-Daten im Screaming Frog analysieren
Eine praktische Funktion ist die Integration von Google-Analytics-Daten in einen Screaming Frog-Crawl. Dazu musst Du im Hauptmenü einfach nacheinander auf „Configuration“, „API Access“ und „Google Analytics“ klicken. Und in dem sich öffnenden Fenster dann auf “Connect to New Account”. Ein Browserfenster öffnet sich und Du musst bestätigen, dass der Screaming Frog auf Google-Daten zugreifen darf.
Jetzt solltest Du im Menü noch folgende Punkte festlegen:
- User Account: Hier kannst Du den Account, die Property, die View und das gewünschte Segment auswählen.
Date Range: Hier muss ein Start- und ein Enddatum eingegeben werden, also der Zeitraum für den Du Daten haben willst. - Metrics: Hier kannst Du bis zu 20 Metriken auswählen, die in Screaming Frog integriert werden sollen. Zur Auswahl stehen u.a. User, Session und Goals.
- Dimension: Analog zu den Metriken können auch eine Vielzahl von Dimensionen ausgewählt werden.
Startest Du nun den Crawl, laufen die Daten unter „Internal“ in neu hinzugekommenen Spalten ein, Du hast nun in einer Zeile die üblichen Screaming Frog-Daten sowie die integrierten Traffic Daten aus Google. - Analytics: Der Vorteil ist, dass Du nun Daten aus zwei Quellen in einer Tabelle hast. Damit kannst Du einen Arbeitsschritt überspringen – das spart Zeit und ermöglicht den Vergleich sehr vieler Daten auf einen Blick.
Der Nachteil ist, dass Du immer nur mit einem Account verknüpft sein kannst und vor jeder Nutzung dieser Funktion eine Verbindung mit Google Analytics herstellen musst. Willst Du nacheinander verschiedene Seiten untersuchen, musst Du die Verbindung erst trennen und für eine weitere Seite entsprechende Einstellungen vornehmen.
Tipp 5: Search-Console-Daten im Screaming Frog analysieren
Analog zu den Google-Analytics-Daten lassen sich auch Werte aus der Google Search in den Screaming Frog importieren. Dies kannst Du unter „Configuration“ – „API Access“ und „Google Search Console“ einstellen.
Unter „User Account“ kannst Du den Screaming Frog mit der Search Console verbinden und unter „Date Range“ stellst Du den Zeitraum ein. In dem Tab „Dimension Filter“ kannst Du unter anderem die Devices auswählen, die Einstellungen unter „General“ kannst Du so beibehalten. Crawlst Du nun die Seite, wird den jeweiligen URLs die Daten der Search Console hinzugefügt:
Mithilfe der Verknüpfung von URL und Search Console Daten kannst Du beispielsweise ganz einfach URLs mit niedriger CTR identifizieren um entsprechende Formatierungen vornehmen zu können. In Kombinationen mit einem automatisierten Crawling erhältst Du aussagefähige Reportings oder Qualitätssicherungen.
Tipp 6: Interne Verlinkung und Status Codes der erreichbaren URLs prüfen
Gerade bei Online Shops, bei denen regelmäßig Produkte wegfallen und neue Produkte ins Sortiment aufgenommen werden, kommst Du nicht umhin, regelmäßig die interne Verlinkung und die Status Codes der URLs zu prüfen. Hier bietet der Screaming Frog eine große Hilfe, da sich mit ein paar Klicks die gesamte interne Verlinkungsstruktur im Excel-Format exportieren lässt. Diese Funktion findest Du im oberen Menü unter dem Punkt „Bulk Export“. Unter diesem Punkt „All in Links“ auswählen, als Dateityp „Excel Workbook“ wählen und schon hast Du eine Excel Tabelle mit allen internen Links. Zusätzlich hast Du wichtige Informationen wie die URL, auf der sich der Link finden lässt, den Ankertext, die Ziel-URL, auf die verwiesen wird, und den Status Code der Zielseite. Mit Hilfe dieser Angaben lassen sich auch ohne große Excel Kenntnisse die internen Links, die Links auf 404 Fehlerseiten oder auch Seiten, die via Status Code 301 weitergeleitet werden, sehr einfach herausfiltern.
Tipp 7: Hierarchische Ebenen und Klicktiefe analysieren
Bei großen Webseiten ist die hierarchische Seitenstruktur ein sehr wichtiges Thema. Oft kommt es vor, dass wichtige Unterseiten sich erst mit 7 oder 8 Klicks von der Startseite aus erreichen lassen und somit unter Umständen von den Suchmaschinen beim Crawlen nicht erfasst werden.
Der Screaming Frog bietet im rechten Bereich unter dem Tab „Site Structure“ sowohl eine Tabelle, in der aufgeführt wird, wie viele URLs sich mit einer bestimmten Anzahl an Klicks erreichen lassen, als auch eine grafische Darstellung der Seitenhierarchie, durch die Du schnell einen Überblick über die Klicktiefe einer Seite bekommst.
Für detaillierte Informationen musst Du im linken Bereich zurück zu dem Tab „Internal“ wechseln. Hier wird für jede URL das Level angegeben, auf der sich die Unterseite befindet.
Wichtig: Starte das Crawling mit der Standarddomain, also in der z.B. mit https://www.domain.com und nicht mit domain.com, damit Du das Ergebnis nicht verfälschst, da jede Weiterleitung auch eine Ebene angesehen wird.
Tipp 8: Überschriftenstruktur erfassen
H1- und H2-Überschriften werden von Screaming Frog ohnehin schon erfasst. Für die Gliederung von Texten werden eher selten auch H3-, H4- und H5-Überschriften verwendet. Es kommt allerdings oft vor, dass solche Überschriften zur Gestaltung von Menü- und Navigationselementen genutzt werden, was eigentlich nicht deren Aufgabe ist.
Mit Hilfe der Custom-Extraction-Funktion kannst Du nun den Crawl so erweitern, dass neben H1- und H2-Überschriften auch weitere Überschriften bzw. Überschriftenauszeichnungen erfasst werden. Dadurch sparst Du Dir die zeitaufwendige manuelle Suche in den Quelltexten der einzelnen URLs. Dazu musst Du im Hauptmenü auf „Configuration“ klicken, dann auf „Custom“ und „Extraction“. In dem nun folgenden Fenster kannst Du bis zu zehn Regeln eingetragen. Bevor Du etwas anderes eintragen kannst, musst Du in der zweiten Spalte im Dropdown-Menü „RegEx“ auswählen. Jetzt kannst Du links eine Bezeichnung eingeben, die als Spaltenname in der Crawl-Ergebnistabelle fungiert. In die dritte Spalte kannst Du nun folgende Formel schreiben:
<h3 > (.*?) </h3 >
Diese sagt aus, dass alles angezeigt wird, was zwischen dem öffnenden h3 und dem schließenden /h3 Tag steht.
Diesen Vorgang kannst Du mehrfach wiederholen und Abfragen für h4-, h5- und ggf. weitere Überschriftenauszeichnungen anlegen. Hierzu muss in der Formel nur das h3 jeweils durch die entsprechende andere Überschrift ersetzt werden. Mit der RegEx Funktion kannst Du nicht nur Überschriften untersuchen, sondern Dir auch anzeigen lassen, auf welcher Seite was für ein Google Tag Manager Code zu finden ist – eine tolle Variante um das Tracking zu überprüfen. Dies geht in der Regel mit folgendem Code: [„‚](GTM-.*?)[„‚]
Tipp 9: Ausdrücke suchen
Mit der Custom Search kannst Du prüfen, ob und wenn ja wie oft ein bestimmter Ausdruck auf spezifischen URLs zu finden ist. Hierzu gibst Du den gewünschten Ausdruck in die Custom Search mit dem Filter „Contains“ ein.
Input
Output
Die Anwendungsfälle sind vielfältig. So kannst Du zum Beispiel ohne großen Aufwand Ankertexte für interne Verlinkungen finden und prüfen, ob ein bestimmter Code (z.B. der des Tag Managers) auf allen Unterseiten eingebaut ist. Oder Du kannst herausfinden, wie oft das Haupt-Keyword in allen Seitenbereichen zu finden ist. Auch der umgekehrte Fall ist möglich, also zu prüfen auf welcher Seite ein Ausdruck, ein Code oder Sonstiges fehlt.
Tipp 10: Backlinks untersuchen
Auch wenn die Relevanz von Backlinks stetig abnimmt, noch sind gute Backlinks wichtig für die Rankings einer Seite. Sobald Du aus anderen Quellen (Sistrix, LinkResearch Tools, Google Search Console etc.) Link-Informationen zusammen getragen hast, kannst Du mit dem Screaming Frog beispielsweise folgendes Analysieren:
- Sind die Link-Quellen noch vorhanden? Lade alle Quell-URLs mit „Mode“ – „List“ – „Upload“ und „Paste“ in den Screaming Frog, mache einen Crawl und schaue Dir an, ob die Link-Quellen noch vorhanden sind (Statuscode 200) oder im Laufe der Zeit weggefallen sind (Statuscode 404).
- Führen die Backlinks auch korrekte Ziele Deiner Seite? Gleiche Vorgehensweise wie eben, nur dass diesmal die Link-Ziele gecrawlt werden. Führen die Backlinks auf eine vorhandene Seite (Statuscode 200) oder auf eine Fehlerseite (Statuscode 404). Wenn sie auf eine Fehlerseite führen, sprechen wir von einem Broken Backlink. Hier gibt es zwei Optimierungsmöglichkeiten, die Du am besten kombinierst: 1. Passe das Link-Ziel des Backlinks an der Quelle an, indem Du z.B. den entsprechenden Webseitenbetreiber kombinierst 2. Richte eine 301-Weiterleitung vom bisherigen Ziel des Broken Backlinks zu einer passenden Seite ein
Auch die Art der Verlinkung, die Ankertexte und vieles mehr, können mit dem Screaming Frog analysiert werden.
Fazit
Der Screaming Frog ist ein sehr vielseitiges Tool, welches ständig verbessert wird. Es gibt eine Vielzahl von Möglichkeiten, wie man den Screaming Frog (nicht nur) im SEO nutzen kann. Die von mir genannten zehn Tipps decken wichtige Bereiche der Suchmaschinenoptimierung ab und sind vielseitig nutzbar.
Das Tolle: Im Vergleich zu vielen anderen SEO-Tools ist der Screaming Frog sehr günstig, nutzerfreundlich und es gibt vom Hersteller eine Vielzahl von Tipps wie man das Tool nutzen kann.
Ein Kommentar
Janix schrieb am 28. April, 2020 @ 10:26
Sehr schöne Zusammenstellung und Anregung. Ergänzend, bevor jemand vergeblich sucht: Für einiges davon muss man schon die Bezahlversion des ‚Frosches‘ haben.