Welche URLs sollten Sie nicht senden?

Nicht alle Seiten eignen sich für die Indexierung. Wenn eine URL technisch problematisch ist, von Suchmaschinen blockiert wird oder dem Nutzer keinen Mehrwert bietet, kann der Suchmaschinen-Crawler sie ignorieren. Dies kann sich in manchen Fällen negativ auf die Gesamtqualität der Website aus Sicht der Suchmaschine auswirken.

Daher ist es ratsam, vor dem Massenversand von URLs sicherzustellen, dass die Seiten tatsächlich für die Indexierung bereit sind und für die Suche nützlich sein können.

Es wird nicht empfohlen, Folgendes zu senden:

• Seiten, die in robots.txt geschlossen sind;

• URL mit noindex-Meta-Tag;

• Seiten mit 4xx- oder 5xx-Fehlern;

• Defekte oder nicht existierende URLs;

• leere Seiten ohne Inhalt;

• Duplikate und nahezu identische Seiten;

• Müll, automatisch generierte Seiten;

• temporäre, Test- oder technische URLs;

• Autorisierungsseiten, Warenkorb, persönliche Konten;

• URL mit privaten oder vertraulichen Informationen;

• Seiten, die nicht in den Suchergebnissen erscheinen sollten.

Es empfiehlt sich außerdem, die massenhafte Einreichung minderwertiger SEO-Seiten, Doorway-Pages und automatisch generierter Inhalte ohne echten Mehrwert für die Nutzer zu vermeiden. Suchmaschinen werden immer besser darin, solche Seiten zu erkennen und ignorieren sie gegebenenfalls oder schränken deren Indexierung ein.

Achten Sie besonders auf den technischen Zustand der URL. Vor dem Hochladen großer Listen empfiehlt es sich, Folgendes zu prüfen:

• Korrektheit der HTTP-Statusmeldungen;

• Fehlen zyklischer Umleitungen;

• Seitenzugänglichkeit für Suchmaschinen-Bots;

• Vorhandensein von kanonischen;

• Fehlen eines versehentlichen Noindex;

• Serverreaktionszeit;

• Einzigartigkeit des Inhalts;

• korrekte interne Verlinkung.

Je sauberer und besser die Liste der URLs ist, desto höher ist die Wahrscheinlichkeit einer erfolgreichen und schnellen Indexierung.

Einfach ausgedrückt: Indexierungsdienste eignen sich am besten für wirklich nützliche, zugängliche und suchmaschinenoptimierte Seiten. Das Einreichen von technischem Datenmüll, Duplikaten und geschlossenen URLs bringt in der Regel keinen Nutzen und verschwendet nur das Crawling-Budget der Suchmaschinen.