• 21.02.2018
SEO-Logfile-Analyse mit Screaming Frog Log File Analyser
Wer sich schon eine längere Zeit mit SEO beschäftigt, ist auf hiesigen Konferenzen, Blogs oder über Social Media höchstwahrscheinlich über das Thema Logfile-Analyse für SEO gestolpert. Doch was ist eine Logfile-Analyse? Wie können die Daten mithilfe des Screaming Frog Log File Analyser untersucht werden? Und viel wichtiger: Welche SEO-Maßnahmen können aus den Daten abgeleitet werden? Diese und weitere Fragen beantwortet dieser Artikel!
Was ist eine Logfile-Analyse?
In einer Logfile-Analyse werden Einträge einer Logfile durchleuchtet, um das Crawlingverhalten von Suchmaschinen zu untersuchen und anschließend passende SEO-Maßnahmen abzuleiten. Denn wird eine Anfrage an einen Webseitenserver gestellt, wird automatisch eine Datei aktualisiert, die grundlegende Informationen über die abfragende Person bzw. Bot bereithält. Diese Datei nennt sich Logfile und sieht wie folgt aus:
XXX.XX.XXX.XXX – – [31/Oct/2017:23:42:52 +0100] „GET / HTTP/1.1“ 200 65800 „-“ „Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_7) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1“
Logfile-Einträge unterschiedlicher Serverkonfigurationen bestehen grundsätzlich aus den gleichen Informationen. Die Angaben können– je nach Logfile-Format – in der Reihenfolge variieren.
- IP- Adresse: Die IP XXX.XX.XXX.XXX hat die HTTP Request angefragt
- Datum der Abfrage: Die IP hat die Abfrage am 31. Oktober 2017, um 23 Uhr gestellt.
- Method: Die GET-Methode wurde verwendet, um die Anfrage zu stellen.
- URL-Request: In diesem Fall wurde die Startseite („/“) als URL-Request angefragt.
- Response Code: Der Response Code hat den Status 200 für die angefragte URL ausgegeben.
- Response Size: Die Responsegröße ist 65800 Bytes groß.
- Previous URL: Die Previous URL gibt Auskunft, auf welcher URL die anfragende Person vorher gewesen ist.
- User Agent: Der User-Agent hat die angefragte Seite mit aufgeführter Konfiguration nachgefragt.
Welche Vorteile bietet eine Logfile-Analyse?
Die Logfile-Analyse hilft den Webmastern zu verstehen, wie Suchmaschinen die eigene Webseite sehen und crawlen. Aus diesem Einblick lassen sich SEO-Maßnahmen ableiten, die die Crawlbarkeit und SEO-Performance verbessern. Deswegen ist die Logfile-Analyse selbst für Google-Mitarbeiter John Müller ein wichtiges Anliegen.
@glenngabe Log files are so underrated, so much good information in them.
— 🧀 John 🧀 (@JohnMu) April 5, 2016
Ein großer Vorteil gegenüber Google Analytics ist, dass eine Logfile-Analyse eindeutig aufzeigt, welche Seiten von Suchmaschinen aufgerufen werden. Eine tiefergreifende Analyse deckt zusätzlich auf, welche URLs nicht gecrawlt werden, welche URLs der Googlebot beim Crawling priorisiert und welche Webseitenbestandteile Google als am wichtigsten ansieht. Außerdem können mögliche Seitenfehler einer Webseite aufgedeckt werden, die die SEO-Performance beeinflussen.
Die ersten Schritte mit dem Screaming Frog Log File Analyser
Um mit der Analyse zu starten, wird zuerst eine Logfile-Datei benötigt. Im Regelfall sollte das betreuende Hosting-Unternehmen angefragt werden, welches die Datei für einen definierten Zeitraum bereitstellen kann. Dabei ist es wichtig zu wissen: Die Dateigröße einer Logfile kann– je nach Anzahl der täglichen Anfragen und Länge des ausgewählten Zeitraums – bis zu mehreren Gigabyte umfassen. Da die Analyse einer solchen Dateigröße fast jedes Analysetool in Schwierigkeiten bringt, sollte in diesem Fall der zu betrachtende Zeitraum verringert werden, um die Datei möglichst klein zu halten. Es muss aber unbedingt sichergestellt werden, dass der Googlebot im ausgewählten Zeitraum mindestens einmal die Webseite besucht hat.
Wer sich selbst auf die Suche nach geeigneten Logfile-Analysetools begibt, wird zahlreiche Anbieter im Markt finden. Da ich persönlich ein großer Fan vom Screaming Frog SEO Spider Tool bin, die Oberfläche kenne und mir eine kostenlose Version mit bis zu 1000 Logs angeboten wird, habe ich mich im ersten Schritt für diesen Anbieter entschieden. Wer zum ersten Mal mit dem Tool arbeitet, muss nach einer erfolgreichen Installation zuerst ein neues Projekt mit der zugehörigen Logfile-Datei anlegen. Falls beim Testen keine eigene Datei zur Verfügung steht, kann auf die Test-Logfile der Toolentwickler zurückgegriffen werden.
Wie beim Screaming Frog Webcrawler besteht das Tool aus mehreren Reitern, um das ausgewählte Projekt aus unterschiedlichen Perspektiven und Ebenen zu betrachten. Der Nutzer hat zusätzlich immer am oberen rechten Bildschirmrand die Möglichkeit per Filtereinstellung die Daten auf einen Bot (z. B. Googlebot) oder auf einen ausgewählten Zeitraum zu beschränken.
Welche SEO-Möglichkeiten bietet der Screaming Frog Log File Analyser
Nach der Installation und den ersten Schritten, stelle ich nachfolgend die wichtigsten Basic-Analysemöglichkeiten vor. Diese Informationen können mithilfe des Screaming Frog Log File Analyser für SEO-Maßnahmen verwendet werden.
1. Welche und wie häufig werden einzelne Seiten vom Googlebot aufgesucht?
Im Reiter „URLs“ werden alle Seiten aufgelistet, die von Bots bzw. vom Googlebot bei entsprechender Filtereinstellung aufgesucht werden. Neben grundlegenden Informationen aus den Logfile-Einträgen zum ausgegebenen Statuscode, Datum der letzten Anfrage, Durchschnittliche Response Time, etc. wird dem Nutzer angezeigt, wie häufig jeder Bot jede einzelne Seite besucht hat. Hierbei erhält der Nutzer einen guten Eindruck darüber, welche Seiten als besonders wichtig eingestuft werden.
2. Identifikation von 404-Fehler
Im Hauptreiter „Response Codes“ gibt es ebenfalls Informationen zum letzten Statuscode einer einzelnen Seite. Mit einem zusätzlichen Filter können einzelne Arten von URL-Statuscodeangezeigt werden. Außerdem kann bei Bedarf auch nach „Inconsistent“ gefiltert werden. Dort werden alle URLs angezeigt, die im zeitlichen Verlauf ihren Status verändert haben. Wird im nächsten Schritt auf eine angezeigte URL geklickt, erhält der Nutzer in der Detailansicht die Änderungen des Statuscodes entlang der Timestamps angezeigt. Mit dieser Ansicht können organische Trafficeinbußen in der Vergangenheit erklärt werden, wenn der Server bzw. eine bestimmte URL in der Vergangenheit nicht erreichbar war.
3. Welche Seiten gibt es, die nicht intern verlinkt sind, aber trotzdem noch vom Google-Bot besucht werden?
Ein weiterer Vorteil ist, dass das Analysetool mit der IMPORT-Funktion die Screaming Frog Crawling-Daten verwenden kann. Jetzt gibt es die Möglichkeit den View-Bereich (siehe gelbe Markierung im Screenshot) anzupassen:
- Log File: Standardmäßig werden alle URLs aus der Logfile angezeigt.
- Matched with URL Data: Alle URLs werden aus der Logfile angezeigt, die ebenfalls in den Crawling-Daten vorkommen.
- Not in URL Data: Alle URLs werden aus der Logfile angezeigt, die nicht gecrawlt werden können.
- Not in Log File: Alle Crawling-URLs werden angezeigt, die nicht in der Logfile eingetragen worden sind.
Diese unterschiedlichen Views sind besonders wertvoll, um entsprechende Seiten zu finden, die weiterhin vom Googlebot besucht werden, aber nicht mehr intern verlinkt worden sind. Im Gegensatz sollte man auch SEO-Maßnahmen bei der Information ableiten, wenn es Crawling-URLs gibt, die nicht vom Googlebot gefunden werden. Als Problem wären hierbei Seiten vorstellbar, die aufgrund von JavaScript-Rendering vom Googlebot nicht interpretiert werden können.
4. Wird die Webseite bereits im Mobile-First Index berücksichtigt?
Google Mitarbeiter John Müller empfiehlt im Webmaster Hangout die Nutzung der Logfiles, um die Webseitenaufnahme in den mobilen Index festzustellen. Denn laut Müller sollte der mobile Googlebot viel häufiger als der Desktop-Bot die Webseite besuchen, wenn die Webseite bereits im mobilen Index aufgenommen worden ist. Diese Information lässt sichunter anderem im Hauptreiter „URLs“ in den Spalten „Googlebot“, „Googlebot Mobile“ und „Googlebot Smartphone“ nachvollziehen.
Neben diesen basic Analysemöglichkeiten für die Verwendung einer Logfile-Datei gibt es zahlreiche weitere, die für die Erstellung neuer SEO-Maßnahmen wichtig sind. Deswegen empfehle ich jedem SEO-Experten, sich mit der Logfile-Analyse vertraut zu machen. Außerdem verspreche ich, dass jeder, der sich mit der Thematik beschäftigt, mindestens ein „AHA“-Erlebnis empfinden wird. Wer weitere Fragen, Anmerkungen, Kritik, Lob oder ähnliches hat, darf nicht zögern und kann mir gerne eine E-Mail (s.hassinger@more-fire.com) schreiben.
Und mehr Screaming-Frog-Tipps findest Du hier auf unserem Blog!
