In diesem Video erläutert Matt Cutts, ob es aus der Sicht von Google einen Unterschied macht zwischen dem strong- und dem b-Tag (b=bold). Die Tags stellen den Text, der in ihnen eingeschlossen ist, in fetter Schrift dar.
Laut Matt Cutts stellt es für Google keinen Unterschied dar, ob strong- oder b-Tag verwendet wird. Das selbe gilt für Tags für die Kursivschrift „em“ und „i“. Aus SEO und technischer Sicht besteht kein Unterschied zwischen der Verwendung der Tags.
Der falsche Einsatz von Robots.txt und Meta-Robots ist ein sehr verbreiteter Fehler. Beide beeinflussen die Indexierung, das Crawling und die Verteilung des PageRanks zwischen den Seiten und können dadurch einen sehr großen Einfluss auf die Suchmaschinenoptimierung einer Website haben. Dieser Post soll aufzeigen welchen Einfluss Robots.txt und Meta-Robots auf SEO haben und wie sie am besten eingesetzt werden sollten um das Suchmaschinenranking einer Website zu verbessern.
Robots.txt
Die Robots.txt (Robot Exclusion Standard) ist eine Textdatei, die im Hauptverzeichnis einer Website liegt (www.domain.de/robots.txt). Mit der Robots.txt können die Crawler der Suchmaschinen angewiesen werden bestimmte Dateien oder Ordner nicht zu crawlen und zu indexieren.
Werden Seiten, die durch die Robots.txt blockiert wurden, von Suchmaschinen trotzdem gecrawlt?
– Nein, durch die Robots.txt blockierte Seiten werden von den großen Suchmaschinen (Google, Yahoo, Bing) nicht gecrawlt.
Werden durch Robots.txt blockierte Seiten indexiert und tauchen in den Suchergebnissen (SERPs) auf?
– Ja! Seiten, die durch Robots.txt blockiert wurden können trotzdem in den Suchergebnissen auftauchen, auch wenn sie nicht gecrawlt wurden. Wenn Suchmaschinen genügend Informationen über eine Seite sammeln können, z.B. durch Links oder DMOZ, werden diese Informationen für die Suchergebnisse genutzt. Hier ein Beispiel einer Seite, die in der Robots.txt von der Indexierung ausgeschlossen wurde und trotzdem in den SERPs zu finden ist.
In diesem Video erklärt Matt Cutts wie in der Robots.txt blockierte Seiten von Google indexiert werden:
META-Robots
Meta-Robots ist ein Meta-Tag, der im Header einer Seite platziert wird und das Verhalten eines Crawlers auf der Website steuert. Dieser Tag spezifiziert, ob eine bestimmte Seite indexiert werden und ob Links auf dieser Seite gefolgt werden soll. Wenn Meta-Robots nicht gesetzt wurde ist der Ausgangswert immer „index,follow“. Das bedeutet die Seite wird indexiert und der Crawler kann den Links auf dieser Seite folgen (außer denen, die durch rel=nofollow gekennzeichnet sind).
Zulässige Werte sind „index“ (Seite indexieren), „noindex“ (Seite nicht indexieren), „follow“ (Links auf der Seite folgen) und „nofollow“ (Links auf der Seite nicht folgen). Die Werte können beliebig miteinander kombiniert werden.
Werden Seiten mit dem Meta-Robots Wert noindex von Suchmaschinen gecrawlt?
– Ja! Die Crawler werden diese Seite besuchen und alle Links extrahieren.
Werden diese Seiten dann auch indexiert?
– Nein! Crawling und Indexierung sollten nicht miteinander verwechselt werden. Sobald der Crawler auf eine Seite mit Meta-Robots noindex gelangt, wird diese Seite nicht indexiert. Das bedeutet, diese Seite wird niemals in den Suchergebnissen auftauchen.
Wie wirken sich die Meta-Robots Werte follow und nofollow auf die Verteilung des PageRanks aus?
– Der follow Wert bedeutet, dass alle Links auf dieser Seite ihren PageRank weitergeben (außer sie wurden mit dem rel=“nofollow“ Attribut gekennzeichnet). Der nofollow Wert bedeutet, dass der Crawler keinem der Links auf der Seite folgt, somit wird auch kein PageRank weitergereicht.
Wenn eine Seite mit Meta-Robots noindex belegt ist, bezieht sie dann trotzdem PageRank?
– Ja! Genau wie bei der Robots.txt können Seiten, auch wenn sie von der Indexierung ausgeschloßen wurden, einen PageRank aufbauen, wenn sie z.B. viele Backlinks haben. Der größte Unterschied zur Robots.txt ist jedoch, dass beim Einsatz von Meta-Robots noindex der PageRank dieser Seite trotzdem noch auf andere Seiten weitergeleitet werden kann, wenn der Meta-Robots follow Wert gesetzt wurde.
Zusammenfassung
Beim Einsatz von Robots.txt und Meta-Robots sollte sehr viel Vorsicht geboten sein, da diese einen großen Einfluss auf die Indexierung und die Positionierung einer Website in den Suchmaschinen haben können. Der beste Weg eine Seite von der Indexierung auszuschliessen ist aus SEO-Sicht der Einsatz der Meta-Robots Werte noindex,follow. Dadurch wird zum einen die Seite nicht in den Suchergebnissen auftauchen und zum anderen der PageRankdieser Seite an andere Seiten weitergegeben.
Die folgende Tabelle fasst den besten Umgang mit Robots.txt und Meta-Robots zusammen:
Unter SEO bzw. Suchmaschinenoptimierung werden alle Maßnahmen zur Bestrebung einer besseren Positionierung für bestimmte Suchbegriffe (Keywords), die relevant für die Website sind, in den organischen Suchergebnissen von Suchmaschinen verstanden.
SEO ist unabdingbar für jede Website, da mittlerweile nach allem über Suchmaschinen gesucht wird. Es gibt zahlreiche Techniken der SEO zur Verbesserung der Positionierung. Dazu gehören, eine suchmaschinenfreundliche Programmierung der Website, der textliche Inhalt, Anzahl und Qualität der Links, die von außen auf die Website führen, z.B. von Blogs, Presseberichte oder Social Media Websites.
Durch gestiegene Nachfrage um den Bereich SEO, ist eine eigene kleine Industrie ent- standen. Zahlreiche Unternehmen haben sich auf SEO spezialisiert und bieten ihre Dienste an. Dabei ist zu beachten, dass SEO verhältnismäßig viel Zeit benötigt, um Erfolge zu erzielen. Die Investition lohnt sich jedoch, da eine gute Positionierung oft einen langfristigen Erfolg, gerade im Hinblick auf eine langfristige Kundenbindung, nach sich zieht.
Web Analytics & SEO 