¿Cómo encuentra un motor de búsqueda nuevas páginas web?

Un motor de búsqueda encuentra nuevas páginas mediante un proceso llamado rastreo, que consiste en rastrear un sitio web utilizando robots (arañas).

Rastreo de sitios web por robots

Los motores de búsqueda como Google y Microsoft Bing cuentan con bots automatizados (como Googlebot). Estos rastrean constantemente internet, siguiendo los enlaces desde páginas conocidas a otras nuevas.

Si un bot llega a una página de tu sitio web, sucede lo siguiente:

• Carga código HTML;
• analiza el contenido;
• enlaces de extractos;
• agrega nuevas URL a la cola de rastreo.

Enlaces internos como principal canal de descubrimiento

La principal forma de descubrir nuevas páginas es mediante enlaces internos. Si una nueva página:

• añadido al menú,
• vinculado a una página ya indexada,
• o está presente en el catálogo,
• Entonces el bot lo encuentra más rápido y lo agrega al bypass.

Mapa del sitio.xml

La segunda fuente importante es el archivo sitemap.xml. Este es un mapa del sitio donde se enumeran explícitamente todas las URL importantes. Los motores de búsqueda lo utilizan como un "plan de rastreo", especialmente para páginas nuevas o con estructuras muy anidadas.

Señales externas

Si una página tiene enlaces externos desde otros sitios web, blogs o redes sociales, su visibilidad aumenta. Para los motores de búsqueda, esto indica que el contenido puede ser nuevo e importante.

Volver a gatear

Los motores de búsqueda suelen volver a sitios ya conocidos. La frecuencia depende de:

• autoridad del dominio;
• frecuencia de actualización del contenido;
• comportamiento del usuario.

Cuanto más activo sea el sitio, con mayor frecuencia el bot comprobará si hay páginas nuevas.