Qu’est-ce que le crawling et quel est son lien avec l’indexation ?

L'exploration web est le processus d'exploration automatique des pages web par les robots des moteurs de recherche (robots d'exploration), tels que Googlebot et les robots similaires utilisés par d'autres moteurs de recherche. Lors de l'exploration, le robot visite les pages web, télécharge leur contenu et analyse leur structure et leurs liens.

Comment fonctionne le crawling ?

Le robot d'exploration commence par les pages connues et suit les liens internes et externes, découvrant progressivement de nouvelles URL. Ce faisant, il collecte des informations sur le contenu des pages, leur état technique et les liens qui les unissent.

Les principales tâches du crawling consistent à découvrir de nouvelles pages, à mettre à jour les informations sur les pages existantes et à identifier les modifications apportées au site.

La relation entre l'exploration et l'indexation

L'exploration et l'indexation sont deux étapes séquentielles mais distinctes du traitement des pages par un moteur de recherche.

La phase de découverte et de balayage d'une page consiste à la parcourir à nouveau .

L'indexation est le processus d'ajout d'une page à la base de données d'un moteur de recherche afin qu'elle puisse apparaître dans les résultats de recherche.

Une fois la page explorée par le robot, le moteur de recherche décide de l'indexer ou non. Si la page répond aux critères de qualité, elle est indexée et devient accessible à la recherche.

Pourquoi une page peut-elle être explorée mais pas indexée ?

Toutes les pages explorées ne sont pas indexées. Cela peut être dû à un contenu de faible qualité, à du contenu dupliqué, à des limitations techniques, à des restrictions dans le fichier robots.txt ou les balises méta, ou encore à une valeur insuffisante de la page pour les utilisateurs.

Résultat

L'exploration (crawling) est le processus de découverte et d'analyse des pages web, tandis que l'indexation consiste à les inclure dans les résultats de recherche. Ces processus sont étroitement liés, mais non identiques : un robot repère et analyse d'abord une page, puis le moteur de recherche décide de son affichage dans les résultats.