Comment un moteur de recherche trouve-t-il de nouvelles pages web ?

Un moteur de recherche trouve de nouvelles pages grâce à un processus appelé exploration, qui consiste à parcourir un site Web à l'aide de robots (araignées).

Exploration du site web par des robots

Les moteurs de recherche comme Google et Microsoft Bing disposent de robots automatisés (tels que Googlebot). Ces robots parcourent constamment Internet, suivant les liens des pages connues vers les nouvelles pages.

Si un robot atterrit sur une page de votre site web, il :

• charge le code HTML ;
• analyse le contenu ;
• extrait les liens ;
• ajoute de nouvelles URL à la file d'attente d'exploration.

Les liens internes comme principal canal de découverte

Le principal moyen de découvrir de nouvelles pages est le maillage interne. Si une nouvelle page :

• ajouté au menu,
• lié à une page déjà indexée,
• ou est présent dans le catalogue,
• Le bot le trouve alors plus rapidement et l'ajoute au contournement.

Sitemap.xml

La deuxième source importante est le fichier sitemap.xml. Il s'agit d'un plan de site listant explicitement toutes les URL importantes. Les moteurs de recherche l'utilisent comme « plan d'exploration », notamment pour les pages nouvelles ou profondément imbriquées.

Signaux externes

Si une page comporte des liens externes provenant d'autres sites web, de blogs ou de réseaux sociaux, sa visibilité est accrue. Pour les moteurs de recherche, c'est un signal indiquant que le contenu est potentiellement nouveau et pertinent.

Re-crawling

Les moteurs de recherche réindexent régulièrement des sites déjà connus. La fréquence dépend de :

• autorité de domaine ;
• Fréquence de mise à jour du contenu ;
• Comportement de l'utilisateur.

Plus un site est actif, plus le robot vérifie fréquemment la présence de nouvelles pages.