Wann kann ein Indexierungsausschluss sinnvoll sein?
Bestimmte Seiten erfüllen einen Website-Zweck, ohne als Suchergebnis benötigt zu werden. Dazu können interne Suchergebnisse oder einzelne technische Zwischenseiten gehören.
Welche Seite ausgeschlossen werden soll, muss anhand ihrer Aufgabe entschieden werden. Eine wichtige Leistungsseite benötigt eine andere Behandlung als ein interner Nutzungsschritt.
Bei meiner SEO-Analyse werden Indexierungsregeln deshalb mit den vorgesehenen Seitenaufgaben verglichen. Eine versehentliche noindex-Angabe kann zentrale Inhalte aus der Suche entfernen.
Warum muss der Crawler die Seite erreichen?
Google muss die Regel erkennen können. Die Dokumentation zu noindex erklärt deshalb, dass die betroffene Seite für Googlebot abrufbar sein muss.
Wenn robots.txt den Abruf verhindert, kann eine auf der Seite hinterlegte noindex-Regel nicht gelesen werden. Eine Crawling-Sperre und der gewünschte Indexierungsausschluss können dann gegeneinander arbeiten.
Beispiel: Eine interne Ergebnisseite erhält noindex und bleibt für den Crawler erreichbar. So kann die Regel verarbeitet werden. Eine zusätzliche pauschale Sperre benötigt eine gesonderte Begründung und ist nicht automatisch hilfreich.
Die Wirkung setzt zudem eine erneute Verarbeitung voraus. Eine Änderung erscheint nicht zwingend unmittelbar in allen Suchergebnissen.
Was solltest du nach einem Relaunch prüfen?
Kontrolliere wichtige Seiten auf unbeabsichtigte Ausschlüsse. Während der Entwicklung verwendete Einstellungen dürfen nicht ungeprüft in den produktiven Betrieb übernommen werden.
Bei einer WordPress-Website können globale Einstellungen und Angaben einzelner Seiten zusammenwirken. Maßgeblich ist die tatsächlich ausgelieferte Regel.
Prüfe zusätzlich Serverantwort und Canonical-Zuordnung. Mehrere widersprüchliche Angaben erschweren eine klare Diagnose.
Vertrauliche Informationen benötigen eine geeignete Zugriffsbeschränkung. Auch eine nicht indexierte Seite kann über direkte Links erreichbar sein.
noindex ist damit ein gezieltes Werkzeug zur Indexierungssteuerung. Es sollte bewusst, nachvollziehbar und passend zur Aufgabe der jeweiligen Seite eingesetzt werden.
