Robots.txt Dosyası
Robots.txt dosyası, web sunucunuza yerleştirilen ve Googlebot’un hangi dosyaya erişip erişemeyeceğini tanıtan basit bir metin dosyasıdır. Neden Robots.txt…
Googlebot'u Şaşırtmayın
“Arama botlarının site numaralarını veya siteyle olan yollarını izleyen bağımsız değişkenleri kullanmadan sitelerinizi taramasına izin verin. Kullandıkları…
Googlebot
Googlebot Nedir ve Ne İşe Yarar? Googlebot, Google tarafından kullanılan web gezginidir. Web’in dört bir yanındaki sayfaları sürekli ziyaret eder, bağlantıları…
Gizlemeden Kaçının
‘’Gizleme Yani ‘’Cloaking’’ Nedir? Yazımıza başlarken Vikipedi’nin gizleme yani ‘’Cloaking’’ hakkında ne yazdığına bakalım: “Gizleme,…
Örümcek olarak da adlandırılan googlebot, Google’ın web tarama aracıdır. Web sayfaları arasında gezinerek yeni ve güncelleme yapılan sayfaları tarama işlemini gerçekleştirir ve Google’ı bunlardan haberdar eder.