Tablet mit Google Startseite
Google Suchmaschine - Eingabefeld für die Suchfunktion

Viele Websitebetreiber kümmern sich heute um die SEO (Suchmaschinenoptimierung). Dabei geht es meist um meta-Tags, Linkbuilding und Content-Erstellung. Sehr viele Websites werden aber dennoch nicht bei Google angezeigt. In diesem Artikel erfährst du, woran es womöglich liegen könnte.

Eine Seite muss indexierbar sein

Möchte man, dass die Seite bei Google erscheint, muss diese von den Suchmaschinen durchsucht, und in ihr „Verzeichnis“ aufgenommen werden. Verbietet man diese Aufnahme, ist es wahrscheinlich, dass die Suchmaschine die Seite nicht in ihren Suchergebnissen listet.

In manchen Fällen kommt es vor, dass man (unbeabsichtigt) das Crawling der Website verbietet.
Nachfolgend erfährst du drei Möglichkeiten wie das Crawling verboten werden kann.

1.) robots.txt – Crawling für bestimmte Bots verbieten

Die robots.txt-Datei ist eine Textdatei, die Befehle für die Crawler enthält. Diese liegt im Stammverzeichnis und kann allow– oder disallow-Befehle für einzelne Bots enthalten.

Beispiel:

User-agent: * 
Disallow: /

Dieser Befehl drückt aus, dass allen Suchmaschinen verboten wird die komplette Website zu crawlen. Keine Ober- oder Unterseite würde demnach in den SERPs (Search Engine Results Pages) angezeigt werden.

Mehr Informationen über die Erstellung der Robots-Datei erfährst du in unserem Artikel: Robots.txt richtig einrichten

2.) Duplikat-Angabe durch Canonical-Tag

Ein weiterer Grund, könnte ein versehentlicher Canoncial-Tag im Head der Seite sein. Damit gibt man nämlich an, dass es sich bei der Seite um ein Duplikat handelt. Duplikate werden von Google nicht gerankt.

Beispiel:

<link rel="canonical" href="https://www.domain.de/original"/>

Ist dieser Link im Head einer Seite gesetzt, bedeutet dies, dass die Seite ist ein Duplikat der Seite domain.de/original ist und demnach nicht auf der Ergebnisseite angezeigt wird.

Mehr zum Thema Canonical-Tag erfährst du auch in unserem Artikel: Richtig mit Duplicate-Content umgehen – kein Rankingverlust durch doppelte Inhalte

3.) Meta-Robots im Head-Bereich

Ebenfalls wird im Head der Meta-Tag Robots angegeben. Neben noindex und nofollow gibt es noch einige weitere Anweisungen.

noindex: Das Folgen der Links auf dieser Seite erlauben, aber nicht indexieren
nofollow: Den Links auf dieser Seite nicht folgen

Beispiel:

<meta name="robots" content"noindex, nofollow"/>

In diesem Fall soll den Links auf dieser Seite nicht gefolgt werden und zusätzlich soll diese Seite nicht in den Index der Suchmaschine mit aufgenommen werden.

Fazit

Mit den drei oben genannten Methoden lässt sich sehr genau steuern welche Seiten in den SERPs (Search Engine Results Pages) angezeigt werden sollen und welche von der Suchmaschine vernachlässigt werden können. Weiß man jedoch nicht genau was man tut, sollte man lieber die Finger davon lassen, da es sonst sein könnte das man von den Suchmaschinen überhaupt nicht mehr gelistet wird.

TIPP:
Eine Anmeldung bei der Google Search-Console ist Pflicht. Unter anderem kann man hier prüfen, ob die robots.txt genau das tut, was sie soll.

Weitere Informationen

In unserem Artikel „Die wichtigsten SEO-Maßnahmen“ erfährst du auf welche SEO-Faktoren du nicht verzichten solltest.