Was ist Crawling und in welchem ​​Zusammenhang steht es mit der Indexierung?

Crawling ist der Prozess des automatischen Durchsuchens von Webseiten mithilfe von Suchmaschinen-Robotern (Crawlern), wie beispielsweise Googlebot und ähnlichen Bots anderer Suchmaschinen. Während des Crawlings besucht der Roboter Webseiten, lädt deren Inhalte herunter und analysiert deren Struktur und Verlinkungen.

Wie funktioniert das Krabbeln?

Der Suchroboter beginnt mit bekannten Seiten und folgt internen und externen Links, um nach und nach neue URLs zu entdecken. Dabei sammelt er Informationen über den Inhalt der Seiten, ihren technischen Zustand und die Verbindungen zwischen ihnen.

Die Hauptaufgaben des Crawlings bestehen darin, neue Seiten zu entdecken, Informationen über bestehende Seiten zu aktualisieren und Änderungen auf der Website zu identifizieren.

2026-05-26_202657.jpg

Die Beziehung zwischen Crawling und Indexierung

Crawling und Indexierung sind zwei aufeinanderfolgende, aber unterschiedliche Phasen der Seitenverarbeitung durch eine Suchmaschine.

Crawling ist die Phase des Entdeckens und Scannens einer Seite.

Die Indexierung ist der Prozess, bei dem eine Seite in die Datenbank einer Suchmaschine aufgenommen wird, damit sie in den Suchergebnissen erscheinen kann.

Nachdem der Crawler die Seite erfasst hat, entscheidet die Suchmaschine, ob sie in den Index aufgenommen wird oder nicht. Erfüllt die Seite die Qualitätsanforderungen, wird sie indexiert und steht für die Suche zur Verfügung.

Warum kann es vorkommen, dass eine Seite zwar gecrawlt, aber nicht indexiert wird?

Nicht alle gecrawlten Seiten werden indexiert. Gründe hierfür können unter anderem minderwertige Inhalte, doppelte Inhalte, technische Einschränkungen, Beschränkungen in der robots.txt-Datei oder in Meta-Tags oder ein unzureichender Nutzen der Seite für die Nutzer sein.

Ergebnis

Crawling bezeichnet das Auffinden und Analysieren von Webseiten, während Indexierung deren Aufnahme in die Suchergebnisse beschreibt. Diese Prozesse sind eng miteinander verwandt, aber nicht identisch: Zuerst findet und durchsucht ein Crawler eine Seite, erst dann entscheidet die Suchmaschine, ob sie in den Suchergebnissen angezeigt wird.

Falls Sie keine Antwort auf Ihre Frage gefunden haben, können Sie uns ein Ticket senden. Meine Tickets