Cos'è la scansione (crawling) e qual è la sua relazione con l'indicizzazione?

Il crawling è il processo di scansione automatica delle pagine web tramite robot dei motori di ricerca (crawler), come Googlebot e bot simili utilizzati da altri motori di ricerca. Durante il crawling, il robot visita le pagine web, ne scarica il contenuto e ne analizza la struttura e i link.

Come funziona lo strisciare?

Il robot di ricerca parte da pagine conosciute e segue i link interni ed esterni, scoprendo gradualmente nuovi URL. Lungo il percorso, raccoglie informazioni sul contenuto delle pagine, sulle loro condizioni tecniche e sui collegamenti tra di esse.

I compiti principali della scansione sono scoprire nuove pagine, aggiornare le informazioni su quelle esistenti e identificare i cambiamenti sul sito.

2026-05-26_202657.jpg

La relazione tra crawling e indicizzazione

La scansione e l'indicizzazione sono due fasi sequenziali ma distinte dell'elaborazione di una pagina web da parte di un motore di ricerca.

La fase di scansione è quella in cui si esplora e si analizza una pagina.

L'indicizzazione è il processo di aggiunta di una pagina al database di un motore di ricerca, in modo che possa comparire nei risultati di ricerca.

Dopo che il robot ha scansionato la pagina, il motore di ricerca decide se includerla nell'indice o meno. Se la pagina soddisfa i requisiti di qualità, viene indicizzata e diventa disponibile per la ricerca.

Perché una pagina web potrebbe essere sottoposta a crawling ma non indicizzata?

Non tutte le pagine scansionate vengono indicizzate. Le ragioni possono includere contenuti di bassa qualità, contenuti duplicati, limitazioni tecniche, restrizioni nel file robots.txt o nei meta tag, oppure lo scarso valore della pagina per gli utenti.

Risultato

La scansione (crawling) è il processo di scoperta e analisi delle pagine web, mentre l'indicizzazione (indicizzazione) è la loro inclusione nei risultati di ricerca. Questi processi sono strettamente correlati, ma non identici: prima un robot trova e analizza una pagina, e solo successivamente il motore di ricerca decide se visualizzarla nei risultati.

Se non hai trovato la risposta alla tua domanda, puoi scriverci aprendo un ticket. I miei ticket