Başa Dönün

Googlebot


Figen Yüzbaşıoğlu 24/01/2018
10/10/2018 Tarihinde Güncellendi


"Bu yazı 6 dakikada okunabilir."

Googlebot nedir ve ne işe yarar?

Googlebot, Google tarafından kullanılan web gezginidir. Web’in dört bir yanındaki sayfaları sürekli ziyaret eder, bağlantıları tarayıp listeleyerek web sayfalarının içeriğini (web sayfasını oluşturan kelimeler, kod ve kaynaklar) alır, alınan içerik başka şeylere bağlantı içeriyorsa bunlar da belirtilir ve ardından topladığı bilgileri arama dizinini güncellemesi için Google’a iletir.

Googlebot ve web siteniz

Dizinler, bot’un gönderdiği bilgiler doğrultusunda güncellenir. Google dizini, web sayfalarının karşılaştırıldığı ve sıralandığı yerdir. Web sayfalarınızın Google’da bulunabilmesi ve sıralamada optimal düzeye gelmeleri için, Googlebot tarafından görülebilir ve erişilebilir olmaları gerekir.

Googlebot ve Google dizini arasındaki fark nedir?

Google web gezginleri, webden yalnızca içeriği alarak erişebileceği başka bir içerik olup olmadığına bakar. Google dizini ise Googlebot’dan aldığı bilgileri sayfaları sıralamak için kullanır. Arama motorunda sıralamaya girmenin ilk adımı, web sitesi içeriğinin Googlebot tarafından görünmesi ve alınmasıdır.

Web siteme ait sayfaların Google dizininde yer alıp almadığını nasıl öğrenebilirim?

Alan adınızın önüne “site:” koyarak, Google’ın siteniz içinden dizinine eklediği sayfaları listeleyebilirsiniz. “site:” ile alan adınız arasında boşluk bırakmadan yazınız.
Örneğin: site: optimisthub.com
Sitenizde yer alan sayfa sayınızdan daha az sayıda sayfayı dizinde görüyorsanız, robots.txt dosyanız ile Googlebot’un sitenizi dizinlemesini engellemediğinizden emin olun.

Googlebot bir web sayfasını “nasıl görür”?

Googlebot web sayfalarının yalnızca tek tek bileşenlerini görür. Bot’lar tarafından ulaşılamayan içerikleriniz, Google dizininde yer almaz.
Bot’un sayfalarınızı görüyor olması, bu sayfaların içinde ne olduğunu tam olarak anladığı anlamına gelmez. Örneğin, bir web sitesi resim içeriyorsa Googlebot bunu göremez; yalnızca o resmi adlandıran kodu görebilir. Bu nedenle, dizin bu resmi içermeyebilir.

Bunlara ek olarak,
• Web sayfanızın kaynağı robots.txt tarafından engellenmiş ise,
• Sayfa bağlantılarınız okunamaz durumda ya da yanlış yapılandırılmış ise,
• Web siteniz gezginlerin sorun yaşayabileceği Flash veya diğer teknolojilerle üretilmiş ise,
• Kötü HTML kodları kullanılmış veya kodlama hataları mevcut ise,
• Karmaşık dinamik bağlantılar mevcut ise Googlebotlar web sayfanızın içeriğine erişemezler.
Yukarıda belirttiğimiz durumların web siteniz için söz konusu olup olmadığını mevcut Google hesabınız aracılığı ile Google arama konsolunda bulunan “getir ve oluştur” aracını kullanarak kontrol edebilirsiniz. Bu araç, Google’ın web sayfanızı nasıl gördüğü ile ilgili size canlı bir örnek sağlar.

Googlebot, tüm sayfa kaynaklarına erişebilir mi?

CSS ve javascript dosyalarının robots.txt dosyanız tarafından engellenmesi durumunda, Googlebot web sayfanızın içeriğini yanlış anlayabilir. Bu durum sitenizin içeriğini eksik anlamasından çok daha kötüdür.
Örneğin, farklı cihazlarda farklı bir görünüm sunmak için CSS ve Javascript kullanan bir sayfayı ele alalım. Googlebot, o sayfanın CSS veya Javascript’ine erişemezse o sayfanın mobil olabileceğini fark edemeyebilir.

Googlebot’u kontrol edebilir miyim?

Evet.

Googlebot’u kontrol etmenin yolları nelerdir?

Bir robots.txt dosyası kullanarak (en yaygın kullanılan yöntem),
Web sayfalarının meta verilerine robot talimatları ekleyerek,
Başlıklarınıza robot talimatları ekleyerek,
Site haritalarını kullanarak,
Google arama konsolunu kullanarak Googlebot’u kontrol edebilirsiniz.

Robots.txt dosyası nedir?

Robots.txt dosyası, arama motoru örümceklerinin web sayfalarınızı nasıl gördüğünü ve sayfalarınızla nasıl etkileşimde bulunduğunu denetler. Kısacası, bir robots.txt dosyası, Googlebot’a, erişilmesini istemediğiniz dosyaları ve klasörleri listeleyerek, bot’lara sayfanızı ziyaret ettiğinde ne yapması gerektiğini söyler.

Site haritası ve Googlebot

Site haritaları, bot’ların web sitenizi anlamasına yardımcı olabilecek önemli bir bileşendir.
Google ve diğer arama motorlarına sitenizin içeriğinin organizasyonu hakkında bilgi vermek için, sitenizin web sayfalarını listeleyebileceğiniz bir dosyadır. Googlebot’un web sayfalarınızı ziyaret ederken rehber olarak kullanabileceği URL’lerin ve diğer verilerin bir listesini içerir. Yani, sitenizi daha akıllıca taramak için bu dosyayı okur.

Web siteniz,
• Gerçekten büyük ise,
• İzole edilmiş veya birbirine iyi bağlı olmayan geniş bir içerik sayfasına sahipse,
• Yeni bir site ise ve bununla ilgili az sayıda harici bağlantı içeriyor ise,
• Zengin medya içeriği kullanıyor, Google Haberler’de gösteriliyor veya diğer site haritalarına uyumlu ek açıklamalar kullanıyor ise mutlaka bir site haritasına ihtiyacınız var demektir.

Googlebot ve Google arama konsolu

Googlebot’u kontrol edebileceğiniz bir diğer yer de Google arama konsoludur. Googlebot, web sunucunuza çok sık erişiyorsa, tarama oranını değiştirebilirsiniz.
Ayrıca, Googlebot’un web sitenize erişme biçimi, robots.txt dosyanızı test etme, Googlebot tarama hatalarını görme ve Google’ın web sayfalarınızı nasıl gördüğünü anlamanıza yardımcı olacak “getirme ve oluşturma” isteklerini gerçekleştirme hakkında genel bir bilgi edinebilirsiniz.

Kaç Googlebot / Google web gezgini vardır?

Dokuz farklı Google web gezgini türü vardır.
• Googlebot (Google Web araması)
• Google Smartphone
• Google Mobile (telefon için özel)
• Googlebot Resimler
• Googlebot Video
• Googlebot Haberler
• Google Adsense
• Google Mobil Adsense
• Google Adsbot (açılış sayfası kalite kontrolü)

Googlebot ve diller / yerler

Eğer web sayfalarınız, arama motorunun kullanıldığı lokasyon ve dile bağlı olarak farklı dil ve içerik sergiliyorsa, Googlebot her zaman tüm içeriğinizi göremeyebilir. (Bu durumda hreflang kullanılması önerilir.)
Kullanıcılar sayfanızı ziyaret ettiğinde farklı içeriğe yönelik bir lokasyon veya dil tabanlı bir çözümünüz varsa, İtalya’daki bir kullanıcı İtalyanca içeriği görecek ve Amerika’daki bir kullanıcı İngilizce içeriği görecektir.

Googlebot tarafından yerel ayarlara göre tarama yapma

Googlebot, yerel bilgilere dayalı tarama oluşturmak için aşağıda belirttiğimiz iki temel tekniği kullanır:
• Coğrafi olarak dağıtılmış tarama: Googlebot, ABD dışında bulunan, Googlebot’un ABD merkezli olduğu varsayılan uzun IP adreslerini ek olarak kullanır.
• Dil bağımlı tarama: Googlebot, HTTP üstbilgisinde ayarlanmış bir Accept-Language alanıyla tarama yapar.

Bu makale faydalı mıydı?
 
830 Okunma   197 Beğeni

Önerilen Yazılar

5 yorum

  1. Şeyma Özyol

    Geniş çaplı bir anlatım olmuş ama bir çırpıda okutuyor kendini. Arada bilmediğim detaylar da vardı, onları da öğrenmiş oldum. Teşekkür ederim.

  2. Sami Yıldız

    Eskiden ne güzeldi 3 tane google bot vardı işimizi görüyordu 🙂 şimdi daha çok talep daha çok bot.

  3. Ali

    Faydalı. 👏

  4. Infiniy bir ekosistemdeyiz ve skisine oranla çok fazla dediğimiz botlar dahi tam doğrulukta analiz etmek için yeterli olmuyor aslında. Örneğin, Yandex ağırlıklı olarak botlar ile değil, makine öğrenme (machinery learning) yöntemi ile ilerliyor ve web sitelerini bazı yönlerden Google’a nazaran daha yüksek doğrulukta konumlandırıyor. Tıpkı reyting sistemi gibi; kullanıcıların o site ile alakalı sorgu ve ziyaretleri, davranışları bu hususta daha etkili durumda.

Görüşleriniz

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir