Googlebot

Googlebot, Google’ın web tarama botudur (bazen “örümcek” olarak da adlandırılır). Tarama, Googlebot’un Google dizinine eklenecek yeni ve güncel sayfaları bulmasını sağlayan işlemdir.

googleBotWeb’deki milyarlarca sayfayı bulup getirmek (veya “taramak”) için muazzam sayıda bilgisayardan yararlanırız. Googlebot algoritmaya dayalı bir işlem kullanır: hangi sitelerin ne sıklıkta taranacağı ve her siteden kaç sayfa alınacağı bilgisayar programları tarafından belirlenir.

Googlebot’un tarama işlemi, önceki tarama işlemlerinde oluşturulan web sayfası URL’lerinin listesiyle başlar ve web yöneticileri tarafından sağlanan Site Haritası verileriyle artar. Googlebot, bu web sitelerini ziyaret ettiğinde her sayfadaki bağlantıları (SRC ve HREF) tespit eder ve bunları taranacak sayfalar listesine ekler. Yeni siteler, mevcut sitelerdeki değişiklikler ve geçersiz bağlantılar belirlenerek Google dizinini güncellemek için kullanılır.

Googlebot sitenize nasıl erişir?

Çoğu site için, Googlebot’un, sitenize ortalama olarak her birkaç saniyede birden fazla erişmemesi gerekir. Ancak, ağ gecikmeleri yüzünden, kısa dönemlerde bu hızın biraz daha yüksek olduğunu görebilirsiniz. Genel olarak, Googlebot her defasında her bir sayfanın yalnızca bir kopyasını indirmelidir. Googlebot’un bir sayfayı birden çok kez indirdiğini görürseniz, bunun nedeni muhtemelen tarayıcının durup yeniden başlamış olmasıdır.

Googlebot, performansını artırmak ve web büyüdükçe ölçeklenmesini sağlamak için birçok makineye dağıtılmak üzere tasarlanmıştır. Ayrıca, bant genişliği kullanımını azaltmak amacıyla çok sayıda tarayıcıyı ağda dizine ekledikleri sitelere yakın yerlerde bulunan makinelerde çalıştırırız. Dolayısıyla, günlüklerinizde google.com’daki birkaç makineden, tümü de Googlebot kullanıcı aracısına sahip ziyaretler görebilirsiniz. Amacımız, sunucunuzun bant genişliğinde aşırı yoğunluğa yol açmadan her ziyaretimizde sitenizden mümkün olduğunca çok sayfayı taramaktır. Tarama hızının değiştirilmesi için istekte bulunun.

kaynak:google
0.00 avg. rating (0% score) - 0 votes
Kategori: İnternet, Webmaster
Etiketler: /

Hakkında

mimforevaÖlümüne Atatürkçü, sıkı bir oyuncu, bilgi sistemleri elemanı, 87 doğumlu, hayat dolu, araştırmacı, biraz göbekli iyi bir adam.

Yorum Yazın