Robots.txt und META-Robots: Die Unterschiede und ihr Einfluss auf SEO

Der falsche Einsatz von Robots.txt und Meta-Robots ist ein sehr verbreiteter Fehler. Beide beeinflussen die Indexierung, das Crawling und die Verteilung des PageRanks zwischen den Seiten und können dadurch einen sehr großen Einfluss auf die Suchmaschinenoptimierung einer Website haben. Dieser Post soll aufzeigen welchen Einfluss Robots.txt und Meta-Robots auf SEO haben und wie sie am besten eingesetzt werden sollten um das Suchmaschinenranking einer Website zu verbessern.

Robots.txt

Die Robots.txt (Robot Exclusion Standard) ist eine Textdatei, die im Hauptverzeichnis einer Website liegt (www.domain.de/robots.txt). Mit der Robots.txt können die Crawler der Suchmaschinen angewiesen werden bestimmte Dateien oder Ordner nicht zu crawlen und zu indexieren.

Werden Seiten, die durch die Robots.txt blockiert wurden, von Suchmaschinen trotzdem gecrawlt?

– Nein, durch die Robots.txt blockierte Seiten werden von den großen Suchmaschinen (Google, Yahoo, Bing) nicht gecrawlt.

Werden durch Robots.txt blockierte Seiten indexiert und tauchen in den Suchergebnissen (SERPs) auf?

– Ja! Seiten, die durch Robots.txt blockiert wurden können trotzdem in den Suchergebnissen auftauchen, auch wenn sie nicht gecrawlt wurden. Wenn Suchmaschinen genügend Informationen über eine Seite sammeln können, z.B. durch Links oder DMOZ, werden diese Informationen für die Suchergebnisse genutzt. Hier ein Beispiel einer Seite, die in der Robots.txt von der Indexierung ausgeschlossen wurde und trotzdem in den SERPs zu finden ist.

In diesem Video erklärt Matt Cutts wie in der Robots.txt blockierte Seiten von Google indexiert werden:

META-Robots

Meta-Robots ist ein Meta-Tag, der im Header einer Seite platziert wird und das Verhalten eines Crawlers auf der Website steuert. Dieser Tag spezifiziert, ob eine bestimmte Seite indexiert werden und ob Links auf dieser Seite gefolgt werden soll. Wenn Meta-Robots nicht gesetzt wurde ist der Ausgangswert immer „index,follow“. Das bedeutet die Seite wird indexiert und der Crawler kann den Links auf dieser Seite folgen (außer denen, die durch rel=nofollow gekennzeichnet sind).

Zulässige Werte sind „index“ (Seite indexieren), „noindex“ (Seite nicht indexieren), „follow“ (Links auf der Seite folgen) und „nofollow“ (Links auf der Seite nicht folgen). Die Werte können beliebig miteinander kombiniert werden.

Werden Seiten mit dem Meta-Robots Wert noindex von Suchmaschinen gecrawlt?

– Ja! Die Crawler werden diese Seite besuchen und alle Links extrahieren.

Werden diese Seiten dann auch indexiert?

– Nein! Crawling und Indexierung sollten nicht miteinander verwechselt werden. Sobald der Crawler auf eine Seite mit Meta-Robots noindex gelangt, wird diese Seite nicht indexiert. Das bedeutet, diese Seite wird niemals in den Suchergebnissen auftauchen.

Wie wirken sich die Meta-Robots Werte follow und nofollow auf die Verteilung des PageRanks aus?

– Der follow Wert bedeutet, dass alle Links auf dieser Seite ihren PageRank weitergeben (außer sie wurden mit dem rel=“nofollow“ Attribut gekennzeichnet). Der nofollow Wert bedeutet, dass der Crawler keinem der Links auf der Seite folgt, somit wird auch kein PageRank weitergereicht.

Wenn eine Seite mit Meta-Robots noindex belegt ist, bezieht sie dann trotzdem PageRank?

– Ja! Genau wie bei der Robots.txt können Seiten, auch wenn sie von der Indexierung ausgeschloßen wurden, einen PageRank aufbauen, wenn sie z.B. viele Backlinks haben. Der größte Unterschied zur Robots.txt ist jedoch, dass beim Einsatz von Meta-Robots noindex der PageRank dieser Seite trotzdem noch auf andere Seiten weitergeleitet werden kann, wenn der Meta-Robots follow Wert gesetzt wurde.

Zusammenfassung

Beim Einsatz von Robots.txt und Meta-Robots sollte sehr viel Vorsicht geboten sein, da diese einen großen Einfluss auf die Indexierung und die Positionierung einer Website in den Suchmaschinen haben können. Der beste Weg eine Seite von der Indexierung auszuschliessen ist aus SEO-Sicht der Einsatz der Meta-Robots Werte noindex,follow. Dadurch wird zum einen die Seite nicht in den Suchergebnissen auftauchen und zum anderen der PageRank dieser Seite an andere Seiten weitergegeben.

Die folgende Tabelle fasst den besten Umgang mit Robots.txt und Meta-Robots zusammen:

	Crawling	Indexierung	PageRank Weitergabe
Robots.txt	Nein.	Ja, wenn die Seite genügend Backlinks hat.	Nein, diese Seite leitet keinen PageRank weiter.
Meta-Robots noindex	Ja.	Nein.	Ja, wenn die Links auf der Seite follow sind.
Meta-Robots nofollow	Ja.	Ja, wenn die Seite genügend Backlinks hat.	Nein, diese Seite leitet keinen PageRank weiter.

Autor: Alexander Berger