Bir arama motoru yeni web sitesi sayfalarını nasıl bulur?

Arama motorları, web sitelerini robotlar (örümcekler) kullanarak tarama işlemi adı verilen bir süreçle yeni sayfalar bulur.

Robotlar tarafından web sitesi taraması

Google ve Microsoft Bing gibi arama motorlarında otomatik botlar (örneğin Googlebot) bulunur. Bu botlar sürekli olarak interneti tarayarak bilinen sayfalardan yeni sayfalara giden bağlantıları takip eder.

Bir bot web sitenizin bir sayfasına indiğinde şunları yapar:

• HTML kodunu yükler;
• İçeriği analiz eder;
• bağlantıları çıkarır;
• Tarama kuyruğuna yeni URL'ler ekler.

Ana keşif kanalı olarak dahili bağlantılar

Yeni sayfaları keşfetmenin ana yolu iç bağlantılardır. Yeni bir sayfa için:

• Menüye eklendi,
• Önceden dizine eklenmiş bir sayfaya bağlantılı,
• veya katalogda mevcutsa,
• Ardından bot onu daha hızlı bulur ve atlama yöntemine ekler.

Sitemap.xml

İkinci önemli kaynak ise sitemap.xml dosyasıdır. Bu, tüm önemli URL'leri açıkça listelediğiniz bir site haritasıdır. Arama motorları bunu, özellikle yeni veya derinlemesine iç içe geçmiş sayfalar için bir "tarama planı" olarak kullanır.

Harici sinyaller

Bir sayfada diğer web sitelerinden, bloglardan veya sosyal medyadan gelen harici bağlantılar varsa, bu sayfanın keşfedilme hızını artırır. Arama motorları için bu, içeriğin yeni ve önemli olabileceğine dair bir sinyaldir.

Yeniden tarama

Arama motorları düzenli olarak zaten bilinen sitelere geri döner. Bu sıklık şunlara bağlıdır:

• alan yetkisi;
• İçerik güncelleme sıklığı;
• Kullanıcı davranışı.

Site ne kadar aktifse, bot yeni sayfaları o kadar sık ​​kontrol eder.