Was die Datei steuert – und was nicht
Die robots.txt enthält Regeln für automatische Abrufe einer Website. Ein kooperierender Crawler kann daraus ableiten, welche Pfade er abrufen darf. Die Datei wird im Stammverzeichnis des jeweiligen Hosts bereitgestellt, beispielsweise unter https://www.example.com/robots.txt.
Eine gesperrte URL ist dadurch nicht privat. Auch eine Suchmaschine kann sie über Links kennen und unter Umständen ohne eingelesenen Seiteninhalt anzeigen. Vertrauliche Bereiche benötigen Zugriffsschutz. Google erklärt diese Grenzen der robots.txt ausdrücklich.
Ein häufiger Planungsfehler ist deshalb, Sichtbarkeit, Indexierung und Berechtigung gleichzusetzen. Halte zuerst fest, was du erreichen willst: Abrufe reduzieren, eine öffentliche Seite aus Suchergebnissen ausschließen oder Inhalte nur bestimmten Personen zugänglich machen.
So liest du eine einfache Regelgruppe
User-agent bezeichnet den Crawler, auf den eine Gruppe zielt. Disallow schließt passende Pfade vom Abruf aus; Allow kann erlaubte Teilbereiche beschreiben. Für eine einfache Regel ist vor allem entscheidend, zu welchem Host und Pfad sie gehört.
Beispiel zur Erläuterung, nicht als fertige Empfehlung für jede Website:
User-agent: *
Disallow: /intern/Diese Gruppe spricht grundsätzlich Crawler an und sperrt den Pfad /intern/ für den Abruf. Sie erzeugt keinen Passwortschutz. Eine leere Disallow-Angabe würde dagegen keinen solchen Pfad sperren. Disallow: / wäre eine weitreichende Sperre für die Website.
Feldnamen wie User-agent werden im Robots Exclusion Protocol ohne Beachtung der Groß- und Kleinschreibung ausgewertet. Bei Pfaden ist die Schreibweise dagegen relevant. Auch ein kleingeschriebenes user-agent ist deshalb ein gültiger Feldname.
Verwechsle noindex nicht mit einer Crawling-Sperre
Wenn eine öffentliche HTML-Seite nicht in Suchergebnissen erscheinen soll, kann eine noindex-Anweisung passend sein. Damit Google diese Anweisung lesen kann, muss die Seite grundsätzlich abrufbar sein. Eine gleichzeitige robots.txt-Sperre kann das Einlesen verhindern.
Beispiel für eine noindex-Anweisung im HTML-Head:
<meta name="robots" content="noindex">Welche Möglichkeit zu deinem Fall passt, hängt vom Ziel und vom Dateityp ab. Google beschreibt den Ausschluss aus der Indexierung getrennt vom Crawling. Druckversionen oder URL-Varianten sollten deshalb nicht reflexartig alle durch robots.txt blockiert werden.
Für doppelte oder verschobene Inhalte können beispielsweise eine nachvollziehbare URL-Struktur, Weiterleitungen oder kanonische Verweise relevant sein. Welche Maßnahme passt, muss anhand der konkreten URLs und ihrer Aufgabe entschieden werden.
Grafik als Text lesen
Crawling, Indexierung und Zugriff Wähle die Steuerung passend zu deinem Ziel. robots.txt Steuert, welche URLs regelkonforme Crawler abrufen dürfen. noindex Gibt Suchmaschinen vor, eine URL aus dem Index zu lassen. Die Anweisung muss abrufbar sein. Zugriffsschutz Beschränkt den Abruf etwa durch eine Anmeldung.
Prüfe Regeln gegen echte Beispiel-URLs
Eine Datei sollte nicht nur syntaktisch plausibel aussehen. Prüfe, welche deiner wichtigen Seiten und Ressourcen davon betroffen wären. Dazu gehören auch Dateien, die für die Darstellung notwendig sind, etwa Stylesheets, JavaScript oder Bilder.
- Rufe die tatsächlich veröffentlichte robots.txt des richtigen Hosts auf.
- Prüfe den HTTP-Abruf und den Inhalt statt nur eine lokale Entwurfsdatei.
- Teste mindestens eine erlaubte und eine bewusst gesperrte Beispiel-URL.
- Kontrolliere wichtige Leistungsseiten und deren notwendige Ressourcen.
- Vergleiche die Situation mit den Diagnosehinweisen der Search Console.
Die Google-Spezifikation zur robots.txt erläutert Auswertung und Randfälle. Ein gutes Prüfprotokoll enthält Ausgangsdatei, geplante Änderung, Beispiel-URLs und die erwartete Wirkung. So lassen sich ungewollte Sperren leichter erkennen.
Grafik als Text lesen
Robots-Regeln richtig prüfen Teste am tatsächlich veröffentlichten Host. 1 Datei abrufen Host, HTTP-Antwort und tatsächlich ausgelieferte Regeln prüfen 2 Beispiel-URLs testen Eine erlaubte und eine bewusst gesperrte URL vergleichen 3 Wichtige Inhalte prüfen Leistungsseiten und notwendige Ressourcen kontrollieren
Nutze KI als Entwurfshilfe mit klaren Vorgaben
Ein KI-Entwurf kann dir helfen, Regeln zu formulieren und verständlich zu erklären. Er kennt aber nicht automatisch die reale Architektur deiner Website. Gib daher konkrete Pfade und Ziele an und lass die Regeln anschließend gegen diese Ziele prüfen.
Überarbeitete Prompt-Vorlage:
Prüfe meinen robots.txt-Entwurf für den Host [Host].
Ziel: [welche Abrufe sollen erlaubt oder ausgeschlossen werden?]
Wichtige URLs: [vollständige Liste relevanter Beispiele].
Zu prüfender Entwurf: [Inhalt].
Erkläre die Wirkung pro Regel und pro Beispiel-URL.
Trenne Crawling, Indexierung und Zugriffsschutz.
Erfinde keine CMS-Pfade und blockiere keine notwendigen Ressourcen.
Nenne ungeklärte Annahmen, statt sie stillschweigend zu ergänzen.Speichere Ausgangsdatei und Änderung getrennt. Ein erklärender KI-Text ist noch kein Nachweis dafür, wie ein bestimmter Crawler die veröffentlichte Datei verarbeitet. Entscheidend bleiben reale Abrufe, passende Tests und die dokumentierte Wirkung.
Ordne robots.txt in die gesamte technische Prüfung ein
Eine korrekte Datei ist eine technische Grundlage, aber kein eigenständiger Ranking-Hack. Fehlerhafte interne Links, unverständliche Inhalte oder ein kaputter Anfrageweg verschwinden dadurch nicht. Priorisiere deshalb danach, welche wichtigen URLs tatsächlich betroffen sind.
Wenn du Sperren und Indexierungsprobleme nicht sicher einordnen kannst, ist eine technische SEO-Analyse der passende Einstieg. Bei einem bevorstehenden Umbau sollte außerdem die Planung des Website-Relaunchs Abrufbarkeit, URLs und Weiterleitungen gemeinsam berücksichtigen.
Quellen und fachliche Grundlagen
Links und zugehörige Aussagen geprüft am 01.11.2026. Praxisempfehlungen sind als fachliche Einordnung formuliert.
