¿Afecta el archivo robots.txt a los resultados?

Sí, el archivo robots.txt afecta directamente a la rastreabilidad y, por consiguiente, a la indexación de la página.

Si una URL o una sección completa de un sitio web está bloqueada en robots.txt, es posible que el rastreador de un motor de búsqueda no pueda acceder al contenido de la página. En este caso, ni siquiera enviar la URL a través de un servicio de indexación dará los resultados deseados, ya que el rastreador no podrá indexarla correctamente.

Cómo funciona esto

El archivo robots.txt controla el acceso de rastreo, no la indexación directamente:

• Si se permite el acceso → el robot puede visitar la página y analizarla;

• Si se deniega el acceso, el robot no podrá leer el contenido de la página;

• Sin escaneo, la indexación es imposible o está muy limitada.

Un matiz importante

A veces, una URL puede indexarse ​​incluso si está bloqueada en robots.txt, pero:

• El motor de búsqueda no ve el contenido de la página;

• Solo se mostrará la URL sin el fragmento en los resultados de búsqueda;

• La página se considera "poco clara" para su análisis y podría ser eliminada posteriormente.

Por qué enviar una URL no ayuda cuando está bloqueado

Servicios de indexación o envío manual de URL:

• No omita las reglas de robots.txt;

• No permita que el robot de búsqueda “evite la prohibición”;

• Solo se acelerará el intento de visitar la página si se permite el acceso.

Si se deniega el acceso, el robot simplemente no podrá completar la tarea.

Qué es lo que hay que hacer correctamente

Antes de enviar la URL, es importante:

• Compruebe si la ruta está bloqueada en robots.txt;

• Asegúrese de que los directorios necesarios estén permitidos para el agente de usuario del motor de búsqueda;

• Acceso abierto a páginas importantes (las opciones Permitir/Denegar están configuradas correctamente);

• Comprueba la disponibilidad de la página para Googlebot/YandexBot.

Resultado

El archivo robots.txt es uno de los filtros técnicos básicos. Si una página está bloqueada por este archivo, por mucho que se envíe la URL para su indexación, no se podrá acceder a ella mediante el rastreo. Primero, es necesario que la página sea accesible para los robots de búsqueda, y solo entonces tiene sentido acelerar la indexación.