Wie findet ein Crawler eine Seite?
Crawler können Adressen unter anderem über Links und Sitemaps kennenlernen. Anschließend rufen sie erreichbare Inhalte nach ihren eigenen Regeln und verfügbaren Ressourcen ab.
Google beschreibt seinen Suchcrawler in der Dokumentation zu Googlebot. Googlebot ist ein konkreter Crawler und kein allgemeines Synonym für jedes Crawling-System.
Bei einem technischen SEO-Audit prüfe ich zuerst, ob wichtige Unterseiten intern verlinkt und ohne Umwege erreichbar sind. Eine isolierte Seite ohne eingehende Links entdeckt der Crawler deutlich schwerer.
Was kann den Abruf beeinträchtigen?
Zugriffssperren, Serverfehler und blockierte notwendige Ressourcen können die Verarbeitung erschweren. Auch viele unterschiedliche Adressen für ähnliche Inhalte können zusätzliche Abrufe verursachen.
Beispiel: Eine Filterfunktion erzeugt zahlreiche URL-Varianten, obwohl sich der wesentliche Inhalt kaum unterscheidet. Dann muss geklärt werden, welche Fassungen sinnvoll erreichbar und zur Indexierung vorgesehen sind.
Eine robots.txt kann Abrufregeln für Suchmaschinen-Crawler setzen. Sie ist jedoch kein verlässlicher Schutz vor Indexierung oder Zugriff durch beliebige Programme.
In der laufenden Website-Betreuung sowie in meiner SEO-Betreuung kontrolliere ich regelmäßig, ob Templates, Plugins oder Serverregeln unerwartete Weiterleitungen auslösen. Einen ersten Status- und Header-Check einer einzelnen Adresse ermöglicht mein kostenloser Website SEO & Speed Check.
Bedeutet Crawling automatisch Sichtbarkeit?
Nein. Googles Beschreibung der Suchabläufe unterscheidet Crawling, Indexierung und Auswahl der Ergebnisse. Ein erfolgreicher Abruf garantiert daher keine Aufnahme in den Suchindex.
Die Suchmaschine muss Inhalte anschließend verstehen und eine passende Fassung bestimmen. Für eine konkrete Anfrage folgt außerdem die Auswahl und Ordnung geeigneter Ergebnisse.
Prüfe Befunde deshalb getrennt: Wurde die Seite abgerufen? Konnte der Inhalt verarbeitet werden? Ist sie indexiert? Für welche Fragen erscheint sie?
Diese Unterscheidung verhindert, dass ein Rankingproblem vorschnell als reines Zugriffsproblem behandelt wird.
Crawling liefert die technische Grundlage für weitere Suchverarbeitung. Sein Nutzen hängt davon ab, dass tatsächlich relevante, hilfreiche und konsistent bereitgestellte Inhalte erreicht werden.
