ReachX Blog

Der ulitmative Screaming Frog Guide – 50 verschiedene Möglichkeiten, die das Crawling erleichtern

    Inhaltsverzeichnis:

Der ulitmative Screaming Frog Guide – 50 verschiedene Möglichkeiten, die das Crawling erleichtern

Welchen Nutzen bietet der Einsatz von Screaming Frog?

Nun zugegeben, ich bin ein ziemlicher Fan von technischen SEO-Audits. Manche von Ihnen schrecken bei dem Gedanken, Webseiten nach potenziellen Architekturproblemen zu durchkämmen, vielleicht zurück, aber es ist einer meiner Lieblingsbeschäftigungen. Es ist wie eine SEO-Schatzsuche. Das Beheben der gefundenen Probleme führt im Anschluss zu einer besseren Suchmaschinenoptimierung der Webseite und geht einher mit besseren Rankings. Viele Probleme liegen in der OnPage Optimierung. Zu diesen Problemen gehören beispielsweise die Klicktiefe, die Inhaltsdichte, defekte Verlinkungen etc.

Für normale Menschen kann der Gesamtprozess eines SEO-Audits sehr überwältigend, ein wenig entmutigend und auch sehr zeitaufwendig sein. Aber es gibt Tools, wie beispielsweise Screaming Frog, welche diese Aufgabe für Neulinge und für Profis in diesem Bereich gleichermaßen erleichtert.

Aus diesem Grund habe ich diesen umfassenden Ratgeber zu Screaming Frog zusammengestellt, um die verschiedenen Möglichkeiten zu zeigen, die SEO, PPC und andere Marketingleute haben, wenn sie dieses Tool einsetzen. Es erleichtert die Arbeit bei SEO-Audits, Keyword Recherche, Wettbewerbsanalyse, Linkaufbau und noch vielem mehr.

Grundlegendes Crawling

  • Crawlen einer gesamten Webseite
  • Crawlen eines speziellen Unterverzeichnisses
  • Crawlen einer spezifischen Auswahl von Subdomains oder Unterverzeichnissen
  • Auflisten aller Unterseiten auf einer Internetseite
  • Auflisten aller Unterseiten eines spezifischen Unterverzeichnisses
  • Auflistung aller Domains, die den Besucher auf die Verkaufsseite leiten.
  • Crawlen einer Webseite aus dem E-Commerce Bereich oder einer anderen großen Webseite
  • Crawlen einer älteren Webseite, welche auf einem alten Server gehostet wird
  • Crawlen einer Internetseite, welche Cookies erfordert
  • Crawlen mit dem Einsatz eines Proxys

Inhalt der Webseite

  • Identifizieren von Seiten mit Inhalt ohne relevante Informationen
  • Auflisten von Links zu den Bildern auf einer bestimmten Seite
  • Auffinden von Bildern, die keinen alternativen Text haben oder bei denen der alternative Text zu lang ist
  • Finden der gesamten CSS-Dateien einer Webseite
  • Finden der gesamten JavaScript-Dateien einer Webseite
  • Identifizieren aller jQuery-Plugins einer Internetseite und auf welchen Unterseiten sie benutzt werden
  • Herausfinden wo auf der Webseite Flash eingebettet ist
  • Finden von internen PDF-Dateien, die auf der Webseite verlinkt sind
  • Verstehen der Inhaltssegmentierung innerhalb einer Seite oder einer Gruppe von Unterseiten
  • Finden von Seiten, auf denen Social Media Buttons eingebettet sind
  • Finden von Seiten, welche iFrames verwenden
  • Auflisten von Seiten, auf denen Audio- oder Videocontent eingebettet ist

Interne Links

  • Informationen über alle internen und externen Links einer Webseite
  • Auffinden von internen Links, die nicht mehr funktionieren
  • Auffinden aller ausgehenden Links, die nicht mehr funktionieren oder alle ausgehenden Links generell
  •  Finden aller weitergeleiteten Links

Metadaten und Richtlinien

  • Identifizieren von zu langen Seitennamen, Metabeschreibungen und URLs
  • Finden von doppelten Seitennamen, Metabeschreibungen und URLs
  • Finden von doppeltem Inhalt und von URLs, welche überarbeitet werden müssen
  • Identifizieren aller Seiten, die Metatags enthalten
  • Sicherstellen, dass die robots.txt wie gewünscht funktioniert
  • Finden oder Verifizieren von Schema-Markup oder anderen Mikrodaten auf der Webseite

Sitemap

  • Überprüfen einer existieren XML-Sitemap
  • Erstellen einer XML-Sitemap

Allgemeine Fehlerbehebung

  • Herausfinden, warum bestimmte Bereiche einer Webseite nicht indiziert oder geranked werden
  • Identifizieren von langsamen Landingpages
  • Auffinden von Spam und Malware auf der Webseite

Linkaufbau

  • Analysieren einer Auflistung von künftig möglichen Linkpositionen
  • Finden von funktionslosen Links auf anderen Webseiten
  • Verifizieren von Rückverweisen und anzeigen des Ankertextes
  • Überprüfen ob entfernte Rückverweise auch wirklich gelöscht sind

Keyword Recherche

  • Welche Seiten haben für die Wettbewerber den höchsten Wert?
  • Welche Ankertexte nutzen Wettbewerber für interne Verlinkungen?
  • Welche Meta-Keywords verwenden Wettbewerber für Ihre Seiten?

Scraping

  • Scraping von Metadaten für eine Auswahl an Seiten
  • Scraping einer Webseite, um alle Seiten zu finden, die einen spezifischen Footprint besitzen

PPC und Google Analytics

  • Sicherstellen, dass der Google Analytics Code auf jeder Seite oder auf jeder Seite einer bestimmten Gruppe vorhanden ist
  • Eine Liste von PPC URLs überprüfen

URL-Rewriting

  • Bearbeiten von Parametern von gecrawlten URLs
  • Umformulieren gecrawlter URLs

Grundlegendes Crawlen

Crawlen einer gesamten Webseite

Im Normalfall durchsucht Screaming Frog nur die eingegebene Subdomain. Jede zusätzliche Subdomain wird als externer Link angezeigt. Um zusätzliche Subdomains mit Screaming Frog zu crawlen, müssen die Einstellungen (unter „Configurations“) im Menüpunkt „Spider“ angepasst werden. Wird in diesem Untermenü der Punkt „Crawl all Subdomains“ ausgewählt, ist sichergestellt, dass der Crawler bei der nächsten Suche alle Subdomains durchsucht, die auf der angegebenen Seite zu finden sind.

Zusammenfassung:
Configuration -> Spider -> Crawl All Subdomains

screaming-frog-spider-all-subdomains

Crawlen eines speziellen Unterverzeichnisses

Wenn das Crawlen auf ein bestimmtes Unterverzeichnis begrenzt werden soll, reicht es, nur die URL anzugeben, welche durchsucht werden soll und die Suche zu starten. Dafür müssen keine der Standardeinstellungen verändert werden. Wurden in der Vergangenheit die Standardeinstellungen überschrieben, können diese in Screaming Frog ganz einfach wiederhergestellt werden. Im Menü „File“ können durch die Auswahl der Unterpunkte „Default Config“ und „Clear Default Configuration“ die Standardeinstellungen wiederhergestellt werden.

Zusammenfassung:
File -> Default Config -> Clear Default Configuration -> Start

screaming-frog-default-config

Es gibt außerdem die Möglichkeit, die Suche des Crawlers in einem bestimmten Ordner zu starten und die Suche innerhalb einer bestimmten Subdomäne fortzusetzen. Dafür muss im Menüpunkt „Configuration“ unter dem Unterpunkt „Spider“ der Punkt „Crawl outside Of Start Folder“ aktiviert sein.

Zusammenfassung:
Configuration -> Spider -> Crawl Outside Of Start Folder

screaming-frog-config-outside-folder

Crawlen einer spezifischen Auswahl von Subdomains oder Unterverzeichnissen

Soll das Crawlen auf eine bestimmte Auswahl von Subdomains oder Unterverzeichnissen beschränkt sein, kann RegEx verwendet werden, um solche Regeln in den „Include“ oder „Exclude“ Einstellungen des Configuration-Menüs zu setzen.

Zusammenfassung Include:
Configuration -> Include -> Subdomains oder Unterverzeichnisse angeben, die gecrawled werden sollen

screaming-frog-config-include-urls

Zusammenfassung Exclude:
Configuration -> Exclude -> Subdomains oder Unterverzeichnisse angeben, die ausgelassen werden sollen

screaming frog config exclude urls

Auflisten aller Unterseiten auf einer Internetseite

Standardmäßig ist Screaming Frog so eingestellt dass, alle Bilder, JavaScript-Dateien, CSS-Dateien und Flash gecrawled werden, auf die der Spider bei der Suche trifft. Sollen jetzt ausschließlich Objekte vom Typ HTML durchsucht werden, gibt es dafür entsprechende Unterpunkte im Menü „Spider“. Hier sollten die Punkte „Check Images“, „Check CSS“, „Check JavaScript“ und „Check SWF“ abgewählt werden.

Wird mit diesen Einstellungen die Suche gestartet, so wird eine Liste mit allen Seiten der Webseite zurückgegeben, welche interne Links besitzen, auf die sie verweisen. Wenn der Screaming Frog mit dem Crawlen fertig ist, lassen sich die Ergebnisse im Tab „Internal“ betrachten. Dafür sollten die Ergebnisse nach der Suche anschließend nach HTML gefiltert werden. Um eine vollständige Liste im CSV-Format zu erhalten, kann diese Liste exportiert werden.

Wenn es gewünscht ist, die getätigten Einstellungen für künftige Suchen zu speichern, so kann im Screaming Frog diese als Standardeinstellung gespeichert werden. Dafür muss im Menüpunkt „Files“ unter „Default Config“ der Punkt „Save Current Configuration As Default“ ausgewählt werden.

Zusammenfassung:
1. Schritt: Configuration -> Spider -> Check Images, Check CSS, Check, JavaScript, Check SWF abwählen
2. Schritt: Internal -> Filter HTML -> Export (optional)
3. Schritt (optional) -> Files -> Default Config -> Save Current Configuration As Default

Auflisten aller Unterseiten eines spezifischen Unterverzeichnisses

Sind nicht alle Unterseiten als Ergebnis der Suche gewünscht, sondern nur die Unterseiten eines spezifischen Unterverzeichnisses, so kann im Menüpunkt „Configuration“ unter dem Unterpunkt „Spider“ der Punkt „Check Links Outside Folder“ noch abgewählt werden. Nun liefert das Ergebnis der Suche nur eine Liste aller Unterseiten von dem Startordner bzw. dem Startverzeichnis.

Zusammenfassung:
Configuration -> Spider -> Check Images, Check CSS, Check JavaScript, Check SWF, Check Links Outside Folder abwählen

Zusammenstellen einer Liste aller Domains, die den Client auf eine andere Internetseite verweist

Die gewünschte URL kann auf DomEye eingegeben werden. Anschließend erzeugt der Dienst eine Liste mit URLs, die Webseiten mit der gleichen IP-Adresse, dem gleichen Nameserver, oder dem gleichen GoogleAnalystics Code anzeigt.
Diese Liste kann anschließend mit der Google Chrome Erweiterung Scraper nach dem Ankertext „visit site“ durchsucht werden. Ist die Erweiterung bereits im Browser installiert, reicht ein einfacher Rechtsklick auf die Seite, um auf Scraper zugreifen zu können. Wird hier der Menüpunkt „Scrape similiar“ ausgewählt, erscheint ein Pop-up Menü, in welchem nun die XPath Abfrage geändert werden muss. Um die gewünschte Ausgabe zu bekommen muss die XPath Abfrage lauten:

//a[text()=’visit site’]/@href

Als Nächstes muss die Aktion „Scrape“ in demselben Menü ausgeführt werden. Anschließend kann das Ergebnis in Google Docs importiert werden. Von hier aus ist es ein Leichtes, diese Liste auch als CSV-Datei zu exportieren.
Diese CSV-Datei wird benötigt, um anschließend im Screaming Frog weiterverwenden zu können. Nach dem Import kann der Listenmodus verwendet werden, um die gesamte Liste der URLs überprüfen zu lassen. Es gilt beim Import darauf zu achten, dass in Screaming Frog auch CSV als Dateityp ausgewählt ist.
Hat der Spider seine Arbeit getan und ist die Registerkarte „Intern“ ausgewählt, so sind alle Statuscodes einsehbar. Über die Registerkarte „Response Codes“ ist es möglich, sich durch das Filtern nach Weiterleitungen, alle Domains anzeigen zu lassen, welche auf die eigene oder an eine andere Seite umgeleitet werden.

Zusammenfassung:
1. Schritt: Gewünschte URL in den Dienst DomEye eingeben
2. Schritt: Scraper als Google Chrome Erweiterung installieren
3. Schritt: Scrape similiar -> XPath: //a[text()=’visit site’]/@href -> Scrape
4. Schritt: Export nach Google Docs -> Export aus Google Docs als CSV-Datei
5. Schritt: Import CSV in Screaming Frog
Crawlen einer Webseite aus dem E-Commerce Bereich oder einer anderen großen Webseite

Screaming Frog wurde nicht dafür entwickelt, um Abertausende von Internetseiten zu durchsuchen. Aber es gibt trotzdem ein paar Tricks, mit denen es sich verhindern lässt, dass das Programm abstürzt, wenn es größere Webseiten crawlen soll.
Als Erstes ist es möglich, die Speicherzuweisung des Spiders zu erhöhen.
Ein weiterer Punkt ist nur das Durchsuchen von bestimmten Teilen einer Webseite. Dies kann über die „Include/Exclude“ Einstellungen verändert werden.
Reichen diese Einstellungen immer noch nicht aus, kann über die Einstellungen verhindert werden, dass CSS, Flash und Bilder gecrawled werden. Diese Einstellungen finden sich im Menüpunkt „Configuration“. Mittels dieser Einstellungen ist es möglich, dass der Spider ausschließlich Objekte vom Typ HTML von spezifischen Bereichen der Webseite crawled. Das spart Speicher und sorgt für eine bessere Performance.

Crawlen einer älteren Webseite, welche auf einem alten Server gehostet wird

In seltenen Fällen sind manche ältere Server nicht in der Lage die Anzahl von Standardanfragen pro Sekunde zu verarbeiten. In diesem Fall bietet Screaming Frog die Möglichkeit, die Geschwindigkeit des Crawlers zu ändern. Dafür gibt es im Menüpunkt „Configuration“ den Unterpunkt „Speed.“ Hier kann die maximale Anzahl an Threads eingestellt werden, die gleichzeitig ausgeführt werden sollen. Zusätzlich ist es möglich, die maximale Anzahl der pro Sekunde angeforderten URLs anzugeben.

Zusammenfassung:
Configuration -> Speed

screaming-frog-speed

Crawlen einer Internetseite, welche Cookies erfordert

Obwohl Suchbots keine Cookies zulassen, wenn eine Webseite durchsucht wird, ist es trotzdem möglich, Cookies zuzulassen. Dafür gibt es einen eigenen Menüpunkt im Menü „Configuration“ unter „Spider“. Im vorliegenden Menü gibt es nun die Möglichkeit den „Advanced“ Tab auszuwählen und hier „Allow Cookies“ anzuklicken.

Zusammenfassung:
Configuration -> Spider -> „Advanced“-Tab -> Allow Cookies

screaming-frog-allow-cookies

Crawlen mit dem Einsatz eines Proxys

Wenn ein Proxy bei der Suche verwendet werden soll, kann im Einstellungsmenü (Configuration) der Unterpunkt „System -> Proxy“ ausgewählt werden. An dieser Stelle können die Adresse und der Port des Proxys eingegeben werden. Werden diese Einstellungen verändert, ist es wichtig Screaming Frog neu zu starten, damit diese Änderung angewendet wird.

Soll das Crawlen mit einem anderen User-Agent durchgeführt werden, gibt es hierfür ebenfalls eine Möglichkeit. Unter „Configuration -> User Agent“ können andere User-Agents ausgewählt oder eigene eingetragen werden.

Inhalt der Webseite

Identifizieren von Seiten mit Inhalt ohne relevanten Informationen

Für SEO und den daraus resultierenden Score ist es wichtig, den Inhalt einer Seite weitestgehend zu optimieren. Zur OnPage Optimierung in diesem Bereich gehört zum einen einzigartiger Content und zum anderen muss auch genügend Inhalt auf einer Seite vorhanden sein.
Um Seiten zu identifizieren, die keinen großen Mehrwert für den Leser haben, kann nach der abgeschlossenen Suche des Spiders zum „Internal“ Tab gewechselt werden. Filtert man an dieser Stelle nach HTML, kann in der oben angezeigten Tabelle nach rechts gescrollt werden. Hier findet sich mitunter der Punkt „Word Count“. Diese Spalte kann per Drag&Drop auch an eine andere Stelle der Tabelle bewegt werden. Durch einen Klick auf „Word Count“ lässt sich die Tabelle auf- oder absteigend nach der Länge des Inhalts sortieren. So lassen sich sehr schnell und komfortabel Seiten mit einem sehr geringen Inhalt finden.
Eine weitere Option ist, diese Tabelle als CSV-Datei zu exportieren und dann die Daten anschließend zu bearbeiten. An dieser Stelle lohnt es sich, den Inhalt von Seiten mit geringem Inhalt zu bearbeiten, um eine bessere OnpPage Optimierung zu erreichen. Außerdem kann die Internetseite eventuell umstrukturiert werden und so die Klicktiefe verringert werden.

Zusammenfassung:
Crawling -> „Internal“-Tab -> Filter: HTML -> Word Count -> Export als CSV (optional)

screaming-frog-word-count

Auflisten von Links zu den Bildern auf einer bestimmten Seite

Ist die Crawlersuche bereits abgeschlossen, gibt es eine ganz einfache Möglichkeit, alle Bilder einer bestimmten URL anzuzeigen. Dafür wird nach dem Crawlen wieder der „Internal“ Tab ausgewählt und nach HTML gefiltert. Die gewünschte URL wird nun im oberen Fenster ausgewählt. Ganz unten (unter dem zweiten Fenster) besteht nun die Möglichkeit, den Punkt „Image Info“ auszuwählen. Im unteren Fenster werden nun alle Bilder einer bestimmten URL mit ihrem Alt-Text angezeigt.

Zusammenfassung:
Crawling -> „Internal“-Tab -> URL anklicken -> Image Info auswählen

Auffinden von Bildern, die keinen alternativen Text haben oder bei denen der alternative Text zu lang ist

Vor der Crawlersuche ist es wichtig, dass im Menü „Configuration -> Spider“ der Punkt „Check Images“ aktiviert ist. Ansonsten werden Bilder bei der Suche ausgelassen. Ist der Spider mit der Arbeit fertig, kann nun der „Images“-Tab ausgewählt werden. Hier besteht die Möglichkeit, drei verschiedene Filter einzustellen. Entweder „Over 100 kb“, jedoch ist dieser Punkt für das Vorhaben uninteressant, „Missing Alt Text“ gibt alle Bilder aus, die keinen alternativen Text haben oder „Alt Text Over 100 Characters“ gibt eine Liste aller Bilder aus, deren Alt-Text mehr als 100 Zeichen hat.
Wo sich die entsprechenden Bilder befinden, kann durch einen Klick auf „Image Info“, am unteren Rand des Bildschirms, herausgefunden werden.

Zusammenfassung:
Crawling -> „Images“-Tab -> Filter einstellen -> Image Info

Alternativ können diese Informationen auch direkt als CSV-Datei exportiert werden. Im Menü „Bulk Export -> Images“ gibt es jeweils die Möglichkeit die Informationen zu den Bildern ohne Alt-Text oder mit einem zu langen Alt-Text zu exportieren.
Das Ergebnis des Exports ist eine Auflistung aller Seiten, auf denen die Bilder mit dem entsprechenden Attribut verwendet werden.

Zusammenfassung:
Crawling -> Bulk Export -> entsprechende Option auswählen

Finden der gesamten CSS-Dateien einer Webseite

Um eine Auflistung aller CSS-Dateien zu erhalten, muss im Menü „Configuration -> Spider“ der Punkt „Allow CSS“ auf jeden Fall ausgewählt sein. Nach der Suche kann über den „Internal“-Tab das Ergebnis nach CSS gefiltert werden.

Zusammenfassung:
Crawling -> „Internal“-Tab -> Filter: CSS

Finden der gesamten JavaScript-Dateien einer Webseite

Sich alle JavaScript Dateien anzeigen zu lassen geht mit Screaming Frog ebenfalls sehr einfach. Wichtig hierfür ist das Aktivieren des Punktes „Check JavaScript“ im Menü unter „Configuration -> Spider“. Nach dem Crawlen können die Ergebnisse im „Internal“-Tab eingesehen werden. An dieser Stelle können die Ergebnisse über den Filter nach JavaScript Dateien sortiert werden.

Zusammenfassung:
Crawling -> „Internal“-Tab -> Filter: JavaScript

Identifizieren aller jQuery-Plugins einer Internetseite und auf welchen Unterseiten sie benutzt werden

Auch für diesen Fall ist es wichtig, dass im Menü „Check JavaScript“ ausgewählt ist. Dies lässt sich unter „Configuration -> Spider“ einstellen. Anschließend wird der Spider auf die Reise geschickt. Ist die Suche beendet, werden die Ergebnisse im „Internal“-Tab angezeigt. Um nun alle JavaScript Dateien anzuzeigen, wird hier der Filter auf JavaScript gesetzt. Nun ist es möglich mit der Suche, welche sich über dem oberen Fenster befindet, nach „jQuery“ zu suchen. Als Ergebnis wird eine Liste mit Plugins angezeigt. Anschließend können über den „Inlinks“-Tab unter dem zweiten Fenster die Adressen angezeigt werden, wo die Plugins verwendet werden. Alternativ lassen sich diese Daten als CSV-Datei exportieren.

Zusammenfassung:
Crawling -> „Internal“-Tab -> Filter: JavaScript -> Suche: jQuery -> „Inlinks“-Tab -> Export als CSV (optional)

screaming-frog-search-jquery

Herausfinden an welcher Stelle der Webseite „Flash“ eingebettet ist

Damit auch Flash bei der Suche berücksichtigt wird, ist es wichtig im Menü „Configuration -> Spider“ den Unterpunkt „Check SWF“ zu aktivieren. Nach der Suche kann über den „Internal“-Tab mit dem Filter nach Flash sortiert werden. Screaming Frog kann an dieser Stelle nur Dateien mit der Endung .SWF finden, die auf der Seite verlinkt sind. Wird das Flash über JavaScript eingebunden, muss ein benutzerdefinierter Filter angelegt werden.

Zusammenfassung:
Crawling -> „Internal“-Tab -> Filter: Flash

Finden von internen PDF-Dateien, die auf der Webseite verlinkt sind

Ebenfalls können verlinkte PDF-Dateien auf einer Webseite mithilfe der Suche gefunden werden. Um diese anzuzeigen, muss die Suche des Spiders abgeschlossen sein. Danach lässt sich über den „Internal“-Tab das Ergebnis nach PDF filtern.

Zusammenfassung:
Crawling -> „Internal“-Tab -> Filter: PDF

Verstehen der Inhaltssegmentierung innerhalb einer Seite oder einer Gruppe von Unterseiten

Benutzerdefinierte Filter können helfen, Unterseiten mit einem bestimmten Inhalt anzuzeigen. Dafür ist es nötig einen individuellen Filter für einen HTML-Footprint festzulegen, der für diese Seite eindeutig ist. Es ist wichtig, dass der Filter festgelegt wird, bevor die Suche gestartet wird. Dieser kann unter dem Menüpunkt „Configuration -> Custom“ festgelegt werden.

Finden von Seiten, auf denen Social Media Buttons eingebunden sind

Um Seiten zu finden, auf denen Social Media Buttons eingebunden sind, ist das Erstellen eines benutzerdefinierten Filters nötig. Dieser muss eingestellt werden, bevor die Suche gestartet wird. Ein benutzerdefinierter Filter kann über das Menü „Configuration -> Custom -> Search“ erstellt werden. Im Filter muss das ein Codeauszug der Quellseite sein.
Für jeden Social Media Button muss an dieser Stelle ein Filter verwendet werden. Für den Facebook-Like-Button wäre beispielsweise folgende URL: http://facebook.com/plugins/like.php

Zusammenfassung:
Configuration -> Custom -> Search

screaming-frog-custom-search

Finden von Seiten, welche iFrames verwenden

Um Seiten zu finden, die iFrames verwenden, muss ein angepasster Filter für „iFrame“ festgelegt werden, bevor sich der Spider an die Arbeit macht.

Zusammenfassung:
Configuration -> Custom -> Search

Auflisten von Seiten, auf denen Audio- oder Videocontent eingebettet ist

Um Seiten zu finden, auf denen Audio- oder Videoinhalte eingebettet sind, muss ein angepasster Filter verwendet werden. Dieser muss vor der Suche unter „Configuration -> Custom -> Search“ eingerichtet werden. An dieser Stelle muss entsprechend ein Auszug des eingebetteten Codes für YouTube oder eines anderen Mediaplayers, der auf der Seite verwendet wird, angegeben werden.

Interne Links

Informationen über interne Verlinkungen sind sehr wichtig. Wird die zugrunde liegende Linkstruktur einer Webseite analysiert, kann darauf auf die durchschnittliche Klicktiefe geschlossen werden. Die Klicktiefe und der Klickpfad sind zwei wichtige Punkte für die SEO-Optimierung im Bereich OnPage. Ist die Klicktiefe zu hoch, benötigen die Nutzer der Webseite in der Regel zu lange, um an die gewünschten Informationen zu gelangen. Ist die Klicktiefe dagegen zu niedrig, bleiben dem Webmaster weniger Gelegenheiten um Werbung oder andere attraktive Angebote unterzubringen. Der Klickpfad und die Klicktiefe sind eng miteinander verbunden. Der Klickpfad beschreibt dabei den Weg, den der Nutzer zurücklegen muss, um an die gewünschte Information zu kommen. Durch gewisse OnPage Maßnahmen ist es jedoch möglich, dem Nutzer den Aufenthalt auf einer Seite angenehm zu gestalten und die Klicktiefe und den Klickpfad zu optimieren.

Informationen über alle internen und externen Links einer Webseite

Wenn Bilder, Flash, CSS oder JavaScript für die Suche nicht relevant sind und deshalb nicht durchsucht werden müssen, ist es immer lohnenswert, im Menü auszuschalten, dass diese Dateien mit durchsucht werden. Bei Screaming Frog geht dies unter „Configuration -> Spider“. An dieser Stelle gibt es nun die Möglichkeit die Punkte „Check CSS“, „Check SWF“,“Check Images“ und „Check JavaScript“ abzuwählen. Durch diese Einstellungen werden Zeit und Speicher gespart.

Sollen nun Informationen über interne und externe Links angezeigt werden, kann dafür der Export für bestimmte Informationen verwendet werden der Menüpunkt „Bulk Export“ bietet viele verschiedene Optionen. Es können alle Inlinks, alle Outlinks, External Links und alle Ankertexte als CSV exportiert werden.
Als Ergebnis erhält man verschiedene Listen mit den zugehörigen Linklocations.

Auffinden von internen Links, die nicht mehr funktionieren

Auch in diesem Fall sollte in Screaming Frog ausgeschaltet werden, dass JavaScript, Bilder, Flash und CSS durchsucht werden. Dies kann unter „Configuration -> Spider“ mit den entsprechenden Unterpunkten abgewählt werden.
Wenn das Crawlen beendet ist, sollte zum „Internal“-Tab gewechselt werden. An dieser Stelle können die Ergebnisse nach Status Code sortiert werden. So können Fehlercodes wie Fehler 404 oder 301 einfach erkannt werden.

Wird im oberen Fenster eine bestimmte URL ausgewählt und ist im unteren Fenster der Tab „URL Info“ aktiv, werden weitere Informationen sichtbar.
Der untere Tab „Inlinks“ zeigt eine Liste aller Seiten an, die auf diese bestimmte URL verlinken. Außerdem werden der angegebene Ankertext und auch die Direktiven dazu angezeigt. Dieser Punkt kann sehr hilfreich sein, wenn interne Verlinkungen geändert und aktualisiert werden müssen.

Zusammenfassung:
Crawling -> „Internal“-Tab -> nach Status Code sortieren -> Bulk Export (optional)

screaming-frog-statuscode

Nicht funktionierende Inlinks sind in Bezug auf die SEO-Optimierung ein großes Problem, welches dem Bereich OnPage Optimierung angehört. Diese Pflege der internen Verlinkungen kann den Score für die Suchmaschinen steigern. Ein weiteres Problem bilden die kaputten Verlinkungen für die Klicktiefe. Bei gewollter höherer Klicktiefe sind nicht funktionierende interne Verlinkungen für den Nutzer der Webseite sehr frustrierend und für den Webmaster auch deutlich umfangreicher zu pflegen.

Auffinden aller ausgehenden Links, die nicht mehr funktionieren oder aller ausgehenden Links generell

Um alle ausgehenden Links zu finden, einschließlich derer, die nicht mehr funktionieren, sollten vor Beginn der Suche unter dem Menüpunkt „Configuration -> Spider“ die Punkte „Check CSS“, „Check JavaScript“,“Check Images“ und „Check SWF“ abgewählt werden. Dadurch werden Speicher und Rechenzeit gespart.
Ist die Suche der Spinne abgeschlossen, muss zum „External“-Tab gewechselt werden. Hier werden im oberen Fenster alles URLs angezeigt, auf die im durchsuchten Bereich verlinkt wird. Die Liste der URLs kann nun nach Status Codes sortiert werden. So können externe URLs mit einem invaliden Status Code schnell und einfach gefunden werden.
Wird nun eine spezielle URL ausgewählt, wird durch das Wechseln auf den Tab „Inlinks“, im unteren Bereich des Fensters, eine Liste mit den Seiten angezeigt, die auf diese externe URL verlinken. Diese Funktion kann verwendet werden, um herauszufinden, an welcher Stelle der Webseite ausgehende Links aktualisiert werden müssen.

Über die Exportfunktion im „Internal“-Tab kann die Liste der URLs als CSV-Datei exportiert werden.

Zusammenfassung:
Crawling -> „External“-Tab -> nach Status Code sortieren -> im Internal-Tab als CSV exportieren (optional)

Finden aller weitergeleiteten Links

Um alle weitergeleiteten Link zu finden, bietet Screaming Frog eine einfache und unkomplizierte Möglichkeit. Ist die Suche beendet, sind unter dem Tab „Response Codes“ alle Antwortcodes zu finden. Diese lassen sich nun nach danach filtern, ob sie weitergeleitet werden oder nicht. Dies lässt sich über den Filter „Redirection (3xx)“ realisieren. Das Ergebnis ist nun eine Liste mit allen internen Verlinkungen und ausgehenden Links, die weitergeleitet werden.
Eine Möglichkeit ist es nun, diese Liste nach Status Codes zu sortieren. Wird ein Link im oberen Bereich des Fensters ausgewählt und im unteren Bereich auf den Tab „Inlinks“ gewechselt, erscheint im unteren Fenster nun eine Liste mit internen Verlinkungen, die zu dem oben ausgewählten Link weiterleiten.
Beim direkten Export als CSV wird nur die Liste im oberen Fensterbereich exportiert. Um die vollständigen Informationen zu erhalten, muss der Export über den Menüpunkt „Bulk Export“ erfolgen. Unter dem Unterpunkt „Response Codes -> Redirection (3xx) Inlinks“ kann nun eine vollständige Liste exportiert werden.

Zusammenfassung:
Crawling -> „Response Codes“-Tab -> Filter: Redirection (3xx) -> Export als CSV (optional)

Metadaten und Direktiven

Metadaten sind ein sehr mächtiges SEO-Instrument. Nicht alle Metadaten werden von Crawlern einer Suchmaschine durchsucht, aber es gibt dennoch Meta-Elemente, die sehr wichtig sind. Dazu gehören die Tags „description“,“keywords“, „robots“ und „title“.

Identifizieren von zu langen Seitennamen, Metabeschreibungen und URLs

Nachdem das Crawlen nach Seiten mit zu langem Titel beendet ist, tritt der Tab „Page Titles“ in den Vordergrund. Hier werden alle Seiten mit ihren entsprechenden Titeln und deren Länge angezeigt. An dieser Stelle können nun unterschiedliche Filter angewendet werden. Um zu lange Titel zu finden, wird der Filter „over 65 Characters“ angewendet.

Zusammenfassung:
Crawling -> „Page Titles“-Tab -> Filter: Over 65 Characters

Um zu lange Metabeschreibungen ausfindig zu machen, hilft nach der Suche der Tab „Meta Description“. Dort finden sich alle Seiten mit ihrer Metabeschreibung und deren Länge. An dieser Stelle kann nun nach Länge der Metabeschreibungen sortiert werden oder es ist erkennbar, wo die Metabeschreibung fehlt.
Auch in diesem Tab kann ein Filter angewendet werden, um zu lange Metabeschreibungen zu finden. In diesem Fall die Auswahl des Filters „Over 155 Characters“ sinnvoll.

Zusammenfassung:
Crawling -> „Meta Description“-Tab -> Filter: „Over 155 Characters“

Zu lange URLs lassen sich ebenfalls nach dem gleichen Prinzip wie zu lange Titel oder Metabeschreibungen finden. Nach der Suche ist dafür der „URI“-Tab wichtig. Hier kann dann für diesen Fall der Filter „Over 115 Characters“ angewendet werden.

Zusammenfassung:
Crawling -> „URI“-Tab -> Filter: Over 115 Characters

Finden von doppelten Seitennamen, Metabeschreibungen und URLs

Um doppelt vergebene Seitennamen, Metabeschreibungen oder URLs zu finden, bietet Screaming Frog einen vordefinierten Filter. Dafür muss nach dem Crawlen der entsprechende Tab „Page Titles“, „URI“ oder „Meta Description“ aufgesucht werden. In jedem dieser Tabs gibt es die Möglichkeit den „Duplicate“-Filter anzuwenden.

Zusammenfassung:
Crawling -> zum entsprechenden Tab wechseln (Page Titles, Meta Description oder URI) -> Filter: „Duplicate“

Finden von doppeltem Inhalt und von URLs, welche überarbeitet werden müssen

Ist das Crawlen des Spiders abgeschlossen, muss der „URI“-Tab geöffnet werden. An dieser Stelle kann nun nach „Underscores“, „Uppercase“ und „Non ASCII Characters“ gefiltert werden. Diese Filter zeigen alle URLs mit einem Unterstrich oder Großbuchstaben an und es werden diejenigen aufgelistet, die auch aus nicht ASCII-Zeichen bestehen. Tauchen nun URLs in den Listen auf, sollte überlegt werden die URLs zu ändern, da sie nicht dem Standard entsprechen.

Zusammenfassung:
Crawling -> „URI“-Tab -> entsprechenden Filter anwenden („Underscores“, „Uppercase“, „Non ASCII Characters“)

Identifizieren aller Seiten, die Metadirektiven enthalten

Um alle Seiten zu identifizieren, die Metadirektiven besitzen, muss das Crawlen zuerst abgeschlossen werden. Danach können die relevanten Informationen im „Directives“-Tab gefunden werden. Um herauszufinden, um welche Direktive es sich handelt, sollten die einzelnen Spalten betrachtet werden. Alternativ können auf diese Liste auch Filter angewendet werden. Es gibt eine Auswahl der folgenden Filter, die nach den entsprechenden Tags filtern:

  • Canonical
  • Canonical Self Referencing
  • Canonicalised
  • No Canonical
  • Index
  • NoIndex
  • Follow
  • NoFollow
  • None
  • NoArchive
  • NoSnippet
  • NoODP
  • NoYDIR
  • NoImageIndex
  • NoTranslate
  • Unavailable_After
  • Refresh

Sicherstellen, dass die robots.txt wie gewünscht fuinktioniert

Standardmäßig liest Screaming Frog die robots.txt aus. Die Priorität liegt darauf, den entsprechenden Anweisungen (Direktiven) zu folgen, die für den Screaming Frog Agent gemacht wurden. Gibt es keine speziellen Direktiven, folgt der Spider den Direktiven für beispielsweise den GoogleBot. Wenn es wiederum keine Anweisungen für den GoogleBot gibt, folgt der Spider globalen Direktiven, die für andere User-Agents gesetzt wurden.

Der Spider folgt immer nur einer bestimmten Art von Direktiven und nicht allen. Diese Hierarchie ist wie oben beschrieben festgelegt.
Sollen bestimmte Teile der Seite nicht vom Spider durchsucht werden, so ist es wichtig, dies in der robots.txt festzulegen.

Finden oder Verifizieren von Schema-Markup oder anderen Mikrodaten auf der Webseite

Um jede Unterseite zu finden, welche Schema-Markup oder eine andere Form von Mikrodaten enthält, müssen benutzerdefinierte Einstellungen für das Crawlen verwendet werden. Diese können über das Menü „Configuration -> Custom -> Search“ angelegt werden.
Damit Schema-Markup gefunden werden kann, muss als Filter „itemtype=http://schema.org“ (ohne die Anführungszeichen) angegeben sein.
Nach Beendigung der Suche können die Ergebnisse im „Custom“-Tab betrachtet werden. Wurden mehr als nur ein benutzerdefinierter Filter angegeben, können die Ergebnisse anschließend auch sortiert werden.

Zusammenfassung:
Configuration -> Custom -> Search -> Filter angeben -> Crawlen -> Custom-Tab

Sitemap

Mit einer Sitemap werden alle URLs der dazugehörigen Internetseite in einer bestimmten Form aufgestellt. Diese Form ist lesbar für Maschinen und wird in der „Google Search“-Konsole hinterlegt. Dadurch steigt die Wahrscheinlichkeit stark an, dass diese dort abgelegten URLs bei einer Suche gecrawled werden. Die Sitemap gehört ebenfalls zur OnPage Optimierung.

Überprüfen einer existieren XML-Sitemap

Um eine bereits existierende Sitemap zu überprüfen, wird eine Kopie der XML-Datei auf dem eigenen Computer benötigt.
Ist die XML-Datei vorhanden, kann diese in den Screaming Frog hinein geladen werden. Dies geschieht über das „Mode“-Menü. Wird an dieser Stelle der Unterpunkt „List“ ausgewählt, lässt sich per „Select File“ dann die entsprechende Datei vom PC auswählen. Danach kann die Suche gestartet werden.
Nach Beendigung der Suche lassen sich nun Fehler, Weiterleitungen, doppelte URLs und andere Dinge, die es in der Sitemap zu bereinigen gilt, im Tab „Internal“ anzeigen.
Eine aufgeräumte Sitemap ist für eine gute OnPage Optimierung wichtig.

Zusammenfassung:
Kopie der Sitemap in Screaming Frog laden -> Crawlen -> „Internal“-Tab

Erstellen einer XML-Sitemap

Um eine neue XML-Sitemap zu erstellen, muss die betreffende Webseite erst gecrawled werden. Nach der Suche kann über das Menü „Sitemaps -> Create XML Sitemap“ die passende Sitemap als XML exportiert werden.
Nachdem die Sitemap gespeichert wurde, muss sie in Excel oder einem ähnlichen Programm als XML-Tabelle geöffnet werden. Am besten wird die Datei mit einem Schreibschutz, also als „Read Only“ geöffnet. Nun besitzt die Sitemap die nötige Tabellenform und Werte und Einträge können einfach betrachtet und verändert werden.

Zusammenfassung:
Crawling -> Sitemaps -> Create XML Sitemap -> mit Excel als XML-Tabelle öffnen

Allgemeine Fehlerbehebung

Herausfinden, warum bestimmte Bereiche einer Webseite nicht indiziert werden oder ranken

Es gibt manche Unterseiten, die nicht indiziert oder geranked werden? Dies kann mehrere Gründe haben. An erste Stelle sollte nachgeschaut werden, ob der Teil der Webseite nicht ausversehen in der robots.txt gelandet ist bzw. als noIndex getagged wurde. Ist dies nicht der Fall, sollte sichergestellt werden, dass der Spider die nicht indizierten Seiten über interne Verlinkungen erreichen kann. Besitzt die Webseite eine zu hohe Klicktiefe, kann es durch invalide interne Verlinkungen passieren, dass gewisse Teile der Internetseite nicht mehr erreichbar sind.
Kann der Spider die gewünschten Unterseiten jedoch erreichen, lassen diese sich als CSV-Datei exportieren. Dies funktioniert per Exportfunktion über den „Internal“-Tab.
Nun wird diese CSV-Datei geöffnet und die nicht indizierten bzw. bewerteten URLs in eine zweite Datei kopiert. Anschließend kann ein VLOOKUP verwendet werden, um zu sehen, ob die URLs aus der zweiten Datei beim Crawlen gefunden wurden.

Identifizieren von langsamen Landingpages

Um langsame Landingpages einer Webseite zu identifizieren, muss das Crawlen abgeschlossen sein. Danach wird auf den „Response Codes“-Tab gewechselt. Nun können die Ergebnisse nach ihrer Antwortzeit sortiert werden. Im Anschluss daran können etwaige Optimierungsmaßnahmen an den einzelnen Seiten vorgenommen werden um die Ladezeiten wieder zu verringern.

Zusammenfassung:
Crawling -> „Response Codes“-Tab -> nach „Response Time“ sortieren

screaming-frog-responsetime

Auffinden von Spam und Malware auf der Webseite

Damit Spam und Malware auf der Webseite gefunden werden kann, muss als Erstes der Fußabdruck der jeweiligen Malware oder des Spams identifiziert werden. Anschließend kann so über das Menü unter „Configuration -> Custom -> Search“ ein benutzerdefinierter Filter angelegt werden. Hier wird nun der entsprechende Footprint eingegeben.
Nach dem Crawlen kann das Ergebnis im „Custom“-Tab eingesehen werden. So können alle Unterseiten mit dem Fußabdruck identifiziert werden.

Zusammenfassung:
Configuration -> Custom -> Search -> Footprint als Filter eintragen -> Crawlen -> „Custom“-Tab

Linkaufbau

Analysieren einer Auflistung von künftig möglichen Linkpositionen

Um mehr Informationen über Seiten zu erhalten, können die URLs nach dem Crawlen als Text- oder CSV-Datei in den Screaming Frog hochgeladen werden. Dafür muss das Programm in den Listenmodus gestellt werden (Mode -> List).
Das Ergebnis der Suche kann nun für weiterführende Ergebnisse genutzt werden. Im „Response Code“-Tab können nun weitere Informationen über die URLs eingeholt werden. Dazu gehören beispielsweise die Status Codes.

Der „Outlinks“-Tab im unteren Bereich des Fensters kann ebenfalls Informationen über ausgehende Links, Linktypen oder NoFollow-Direktiven geben. All diese Ergebnisse können nun genutzt werden, um ein Bild davon zu bekommen, zu welchen Seiten die URLs verlinken und wie diese Verlinkungen aufgebaut sind.
Es kann auch ein entsprechender benutzerdefinierter Filter verwendet werden, um die URLs danach zu untersuchen, ob die URLs eventuell auf eine bestimmte URL verweisen.
Anschließend können die Ergebnisse als CSV exportiert werden. Dies geschieht über das „Bulk Export“-Menü. Diese Informationen können dafür genutzt werden, zu überprüfen, ob auch einer bestimmten Seite schon Verlinkungen zur eigenen Seite vorhanden sind und wenn nicht, eventuell eine in Betracht zu ziehen.

Finden von funktionslosen Links auf anderen Webseiten

Es gibt eine bestimmte Seite, die sich besonders für eine Verlinkung eignet? Dann lohnt es sich, diese Webseite in Screaming Frog zu crawlen. Durch die Suche können eventuell nicht mehr funktionierende Verlinkungen von dieser Seite gefunden werden. Nun kann der Betreiber der Webseite kontaktiert und darauf aufmerksam gemacht werden. Eventuell kann ein Link zur eigenen Webseite als Ersatz für den defekten Link angeboten werden.

Verifizieren von Rückverweisen und anzeigen des Ankertextes

Um Rückverweise, auch Backlinks genannt, zu verifizieren muss eine Liste von diesen im Screaming Frog hochgeladen werden. Dafür muss Screaming Frog im Listenmodus (Mode -> List) laufen. Anschließend kann die entsprechende Liste als Text- oder CSV-Datei hochgeladen werden.
Nach der Suche sollte über das „Bulk Export“-Menü eine vollständige Liste aller ausgehenden Links exportiert werden. Dafür kann der Untermenüpunkt „All Outlinks“ verwendet werden.
In dieser Datei stehen nun alle URLs zu den entsprechenden Seiten mit ihren Anker- und Alternativtexten.

Überprüfen ob entfernte Backlinks auch wirklich gelöscht sind

Beim Aufräumen der Backlinks ist es wichtig, sicherzustellen, dass gelöschte Backlinks auch wirklich entfernt wurden. Wichtig für dieses Vorgehen ist, dass der Screaming Frog im Listenmodus (Mode -> List) läuft. Anschließend wird ein individueller Filter (Configuration -> Custom -> Search) angelegt. In diesen Filter muss nun die Root-URL eingetragen werden. Danach wird eine Liste der Backlinks in das Programm geladen. Nach der Suche können im „Custom“-Tab die Ergebnisse betrachtet werden. Dort stehen nun alle Seiten, die trotzdem auf die URL verlinken.

Keyword Recherche

Da sich im Bereich der OnPage Optimierung sehr viel machen lässt, um einen höheren Score der Suchmaschinen zu erhalten, sind Dinge wie Keyword-Recherche unerlässlich. Dabei lohnt es sich, einen Blick über den Tellerrand zu wagen, um zu schauen, wie Wettbewerber den externen und internen Aufbau ihrer Webseite handhaben. Bei der Analyse fremder Webseiten kann Screaming Frog genauso hilfreich sein, wie bei der Analyse der eigenen Webseite.

Welche Seiten haben für die Wettbewerber den höchsten Wert?

Wettbewerber versuchen im Allgemeinen die Popularität ihrer Links zu erhöhen, indem sie den Traffic auf den wertvolleren Seiten ihrer Internetseite sammeln. Dies kann durch verschiedene Techniken erfolgen. Zum einen können entsprechende Links zu den Landingpages außerhalb der Internetseite platziert werden. Zum anderen ist die Technik sehr beliebt, von verschiedenen Seiten der eigenen Internetseite über interne Verlinkungen auf die wertvolleren Unterseiten zu verweisen. Dadurch landet der Nutzer eventuell mehrfach auf der gleichen Seite.
Dies lässt sich mit Hilfe von Screaming Frog einfach überprüfen. Zu allererst wird die entsprechende Internetseite gecrawled. Anschließend wird zum „Internal“-Tab gewechselt. Im oberen Fenster gibt es eine Spalte „Inlinks. In diesem Feld steht zur jeweiligen URL die Anzahl der Inlinks, also die Anzahl der internen Verlinkungen auf diese Seite. Nach diesem Aspekt sollte die Liste nun sortiert werden. Wird eine URL im oberen Fenster ausgewählt und im unteren Fenster der „Inlinks“-Tab aktiviert, erscheint nun eine Liste mit allen Seiten, die eine interne Verlinkung auf die ausgewählte URL beinhalten.

Um sich nur die Seiten anzeigen zu lassen, die beispielsweise von einem anderen Blog kommen, muss vor der Suche der Punkt „Configuration -> Spider -> Check Links Outside of Startfolder“ abgewählt werden. Die Ergebnisse der Suche befinden sich dann anschließend im „External“-Tab. Hier können die URLs dann ebenfalls nach der Anzahl der Inlinks sortiert werden.

Welche Ankertexte nutzen Wettbewerber für interne Verlinkungen?

Um herauszufinden, welche Ankertexte Wettbewerber für ihre Verlinkungen nutzen, kann die Exportfunktion in Screaming Frog genutzt werden. Nach dem Crawlen der betreffenden Internetseite kann per „Bulk Export -> All Anchor Text“ eine CSV-Datei mit allen Ankertexten exportiert werden.

Welche Meta-Keywords verwenden Wettbewerber für Ihre Unterseiten?

Nach dem Crawlen der Webseite können über den „Meta Keywords“-Tab jegliche Informationen über die Meta-Keywords eingesehen werden. Über die Spalte „Meta Keyword 1“ im oberen Fenster können die Keywords alphabetisch sortiert werden. Außerdem ist es möglich, die Liste als CSV-Datei zu exportieren.

Scraping

Beim Scraping geht es um das Sammeln von Informationen einer Internetseite. Diese können anschließend aufbereitet und/oder weiterverwendet werden.

Scraping von Metadaten für eine Auswahl an Seiten

Eine große Menge an URLs alleine sagt noch nicht viel über sie aus. Um weitere Informationen aus ihnen zu erlangen, kann der Modus von Screaming Frog auf „Liste“ geändert werden (Mode -> List). In diesem Modus können dann die URLs als Textdatei oder im CSV-Format geöffnet werden. Nach der Suche gibt es dann die Möglichkeit, mehr Informationen aus den URLs zu bekommen. Dazu zählen die Statuscodes, die ausgehenden Links und letztlich auch die Metadaten.

Scraping einer Webseite, um alle Seiten zu finden, die einen spezifischen Footprint besitzen

Als Erstes muss der entsprechende Footprint identifiziert werden. Ist dies geschehen, kann eine benutzerdefinierte Suche gestartet werden. Das wird über das Menü „Configuration -> Custom -> Search“ eingestellt. In dem erscheinenden Pop-up können nun fünf verschiedene individuelle Filter für die Suche festgelegt werden. In diese Felder werden nun auch die Footprints eingetragen. Anschließend wird die Suche gestartet. Ist diese abgeschlossen, können die Ergebnisse im „Custom“-Tab betrachtet werden.

PPC und Google Analytics

Google Analytics ist ein großartiges Werkzeug für das Monitoring und das Reporting. Es bietet einen Nutzen, sowohl für das Marketing als auch für Webmaster und die SEO. GA bietet eine sehr gute Hilfestellung für die OnPage Optimierung, die Analyse von Besucherquellen, den Traffic, das A/B-Testing und auch über den Erfolg von Werbung und Marketing.

Sicherstellen, dass der Google Analytics Code auf jeder Seite oder auf jeder Seite einer bestimmten Gruppe vorhanden ist

Screaming Frog kann ebenfalls dazu verwendet werden, um sicherzustellen, dass der richtige Google Analytics Code auf jeder Seite vorhanden ist.
Dafür wird ein individueller Filter benutzt. Dieser wird über „Configuration -> Custom -> Search“ aufgerufen und eingestellt. In diesen Filter wird nun beispielsweise die gültige Tracking-ID von Google eingegeben. Diese IDs sind von der Form „UA-XXXXXX-X“
Nun sollte bei einem Filter „Contains“ die ID angegeben werden und in einem zweiten Filter, sollte „Not Contains“ angegeben werden. So kann nach dem Crawlen angezeigt werden, welche Seiten die Tracking-ID beinhalten und welche nicht.

Als nächster Filter sollte ein Snippet aus dem zweiten Teil des Google Authentication Codes angegeben werden, beispielsweise: google-analytics.com/ga.js.
Anschließend kann die URL, die durchsucht werden soll, in Screaming Frog eingegeben werden.Die Ergebnisse werden nach der Suche im „Custom“-Tab angezeigt. An dieser Stelle kann das Ergebnis nach den unterschiedlich verwendeten Filtern gefiltert werden.
Über die gleiche Art und Weise kann auch geprüft werden, ob der Google Tag Manager eingebunden ist. So wird statt der UA-ID die ID des GTM-Containers geprüft.

Eine Liste von PPC URLs überprüfen

Die Liste der URLs sollte vorher in einer Textdatei oder im CSV-Format abgespeichert worden sein. Stellt man Screaming Frog in den „List“-Modus (Mode -> List), kann diese Liste in das Programm hineingeladen werden. Anschließend kann die Suche gestartet werden. Die Statuscodes jeder URL können abschließend im „Internal“-Tab eingesehen werden.

URL-Rewriting

Bearbeiten von Parametern von gecrawlten URLs

Um URLs mit einer Session-ID oder mit anderen Parametern zu finden, kann eine Suche mit den Standardeinstellungen von Screaming Frog durchlaufen werden.
Nach dem Abschluss der Suche befinden sich alle URLs mit Parametern im „URI“-Tab. Wird an dieser Stelle der Filter auf „Paramaters“ gestellt, wird die gewünschte Liste im oberen Bereich des Fensters ausgegeben.

Die angezeigten Parameter der URLs lassen sich nun ebenfalls bearbeiten. Dies erfolgt über die Menüpunkte „Configuration -> URL Rewriting“. Das sich nun öffnende Menü bietet nun eine Auswahl an Parametern, die gelöscht werden können.
Damit die vorgenommenen Einstellungen angezeigt werden können, muss erneut gecrawled werden.

Umformulieren gecrawlter URLs

Es besteht die Möglichkeit, gecrawlte URLs umzuformulieren. Dafür muss nach der abgeschlossenen Suche das „URL Rewriting“-Menü aufgerufen werden. Dies befindet sich unter dem Menüpunkt „Configuration“. Wird nun der Tab „RegEx Replace“ ausgewählt, hat der Nutzer nun die Möglichkeit eine RegEx einzugeben, die das Vorhandene ersetzt.

Ich hoffe, Ihnen hat mein Screaming Frog Guide gefallen und er konnte Ihnen an manchen Stellen behilflich sein. Screaming Frog ist ein mächtiges Tool, welches nicht nur die OnPage Optimierung einer Webseite erleichtern kann, es kann auch Aufschluss über den Aufbau und die Verwendung von Konkurrenzseiten geben.

Fazit

Der Screaming Frog ist ein Tool um die eigene, aber auch alle anderen Seiten im Netz zu untersuchen. So können Schwachstellen an eigenen Projekten, aber auch andere Ansätze von konkurrierenden Seiten aufgedeckt werden, um sein eigenes Ranking und die gesamte Website Health zu steigern.
Sollten sich Fragen zum Screaming Frog ergeben, stehe ich Ihnen gerne mit Rat und Tat zur Seite. Wir verwenden innerhalb unseres SEO-Audit den Screaming Frog um unseren Kunden eine optimale technische Analyse darlegen zu können – und das mit Erfolg!

Alles zum SEO Audit erfahren

Über den Autor

Markus Fritzsche

markus-fritzsche

Markus ist SEO Berater bei der ReachX.

Markus Fritzsche ist SEO Berater für Projekte, z.B. in den Suchmaschinen Google und Bing. Er ist ausgebildeter Fachinformatiker mit der Fachrichtung Anwendungesentwicklung und seit nunmehr fünf Jahren in der Online-Marketing-Branche tätig. Dank seiner Ausbildung und den bisherigen Arbeitserfahrungen konnte er sich einen Einblick in die verschiedensten CMS- und Shop-Systeme verschaffen und ist so mit den Unwägbarkeiten, die ein System haben kann, bestens betraut.

Folgen Sie Markus Fritzsche auf den folgenden Portalen