Welche Aufgabe erfüllen die Regeln?
Mit Angaben wie User-agent und Disallow lässt sich beschreiben, welche Crawler welche Bereiche nicht abrufen sollen. Dabei muss die genaue Syntax zum gewünschten Zugriff passen:
User-agent: *
Disallow: /interner-bereich/
Sitemap: https://deine-domain.at/sitemap.xmlGoogles Einführung zu robots.txt erläutert die Anwendung und ihre Grenzen. Regeln gelten für die jeweilige Kombination aus Protokoll, Host und Port; eine Subdomain kann daher eine eigene Datei benötigen.
Bei einem technischen SEO-Audit gehört die Prüfung dieser Regeln zu den Grundlagen. Eine versehentliche Sperre verhindert sonst den Abruf wichtiger Unterseiten oder Skripte.
Warum reicht robots.txt nicht für Indexierungsschutz?
Eine Suchmaschine kann eine URL über andere Verweise kennen, obwohl sie den Seiteninhalt nicht abrufen darf. Die Adresse kann dann unter Umständen trotzdem als Ergebnis erscheinen.
Eine noindex-Regel auf der Seite kann zudem nicht gelesen werden, wenn der Crawler durch robots.txt vom Abruf ausgeschlossen ist. Beide Maßnahmen dürfen deshalb nicht widersprüchlich kombiniert werden.
Beispiel: Eine interne Ergebnisseite soll nicht in Google erscheinen. Eine pauschale Crawling-Sperre ist dafür nicht automatisch die passende Lösung. Zunächst muss die gewünschte Indexierungssteuerung geklärt werden.
Vertrauliche Inhalte benötigen einen tatsächlichen Zugriffsschutz, beispielsweise eine geeignete Anmeldung. Eine öffentlich lesbare robots.txt verbirgt keine privaten Informationen.
Was solltest du nach Änderungen prüfen?
Kontrolliere, ob wichtige Seiten, Bilder, Stylesheets und Skripte weiterhin erreichbar sind. Ein Crawler benötigt möglicherweise zusätzliche Ressourcen, um die Seite richtig darzustellen.
Prüfe auch, ob eine Regel zu breit greift. Ein gesperrter Verzeichnispfad kann mehr Seiten betreffen als ursprünglich beabsichtigt.
Im Zuge meiner Website-Betreuung sowie in der laufenden SEO-Betreuung kontrolliere ich regelmäßig, welche Datei der Server nach Plugin- oder System-Updates tatsächlich ausliefert.
Dokumentiere Änderungen und kontrolliere anschließend die technischen Befunde. Eine korrekt konfigurierte robots.txt unterstützt gezielte Abrufsteuerung, ersetzt aber keine vollständige Entscheidung über Sichtbarkeit, Zugänglichkeit und Sicherheit.
