Başa Dönün

Kullanışsız Sayfaları Engelleme


Figen Yüzbaşıoğlu 25/01/2018
24/10/2018 Tarihinde Güncellendi


"Bu yazı 4 dakikada okunabilir."

“Arama motorlarından gelen kullanıcılar için çok fazla değer yaratmayan veya otomatik olarak oluşturulmuş sayfaların taranmasını önlemek için robots.txt kullanın.”

– Google web yöneticisi kuralları

Google’ı engellemek mi? Sen deli misin?

Web sitenizi daha üst sıraya taşıyabilmenizin bir yolu olarak sayfalarınızın bazıları için Googlebot’u engellemek biraz garip görünebilir;  ancak sıklıkla bu durum gerçektir.

Sitenizdeki arama sonucu sayfaları bunun açık bir örneğidir. Birisi web sitenizi her aradığında bir arama sonuçları sayfası sağlanır. Bu sayfalar Google’dan engellenmezse, içerik sayfaları olmamalarına rağmen dizine eklenmesine neden olabilirsiniz. Bu da sıralamadaki iyi durumunuzu zayıflatabilir.

Örneğin, yalnızca beş sayfa içeren bir web siteniz olduğunu ve kullanıcıların ihtiyaç duydukları şeyi bulmasına yardımcı olan bir arama işlevine sahip olduğunuzu varsayalım. Kullanıcılarınız web sitenizde bir arama gerçekleştirdiğinde, bir arama sonucu sayfası oluşturulur. Bu sayfalar Google’dan engellenmezse, beş sayfanız olan web siteniz Google açısından bin sayfalık web sitesi haline gelebilir.

Bu durum, arama sonucu sayfaları engellenmedikçe Google tarafından dizine eklenebileceği için oluşur. Bunun sonucunda da Google, konunuza odaklanan beş sayfalık bir web sitesi yerine çok fazla şeye odaklanmayan bin sayfalık bir web siteniz olduğunuzu düşünür. Sonucunda da Google sitenizi çok değerli bir site olarak görmediğinden daha düşük sıralanmaya neden olabilirsiniz.

Şöyle düşünün…

Google’da şaşırtıcı beş sayfanın olması, on bin sayfanın trafik çekmesini sağlamaktan daha iyidir.

Sitenizin her sayfası inanılmaz olmalıdır. Her sayfayı iyi yapın. İyi içeriğe sahip olmayacaksa sitenizde ya da Google’da yer almasının da bir anlamı yoktur.

Sayfa kime faydalı?

Bir arama sonucu sayfası, arama yapan bir kişi için mükemmel bir sayfadır; ancak diğer kişiler için yararlı değildir. Bu nedenle, arama sonuçları Google’dan engellenmelidir.

Sayfanın kimin için yararlı olduğunu düşünün ve yalnızca bir kişi için yararlı olduğuna karar verirseniz, Google tarafından dizine eklenecek yararlı bir sayfa olmadığını bilin.

Bloke edilecek sayfaları belirleme

Arama sonuç sayfaları, birçok web sitesinde engellenecek tek sayfa değildir. Çoğu zaman bir web sitesi, otomatik olarak oluşturulmuş ve ayrıca engellenmesi gereken sayfalara sahip olabilir.

Web siteleri benzersiz içerik sağlamadığı için Google’da kötü sıralamalar sık ​​sık görülür, bu nedenle web sitelerinin birbirinin kopyası olan ve tamamen benzersiz olmayan sayfalarını engellemek mantıklıdır.

Engellenmesi gereken diğer bir özel içerik örneği, bağlı veritabanı kaynaklarından veya sizin tarafınızdan gelmeyen ancak sizin için başka kaynaklardan elde edilen herhangi bir bilgiden oluşturulmuş sayfalardır.

Google, orijinal, yararlı içerik olmayan sayfaları dizine eklerken veya sıralama yaparken; bu sayfaların hiçbir değerinin olmadığını görür. Kullanıcılar diğer web sayfalarıyla aynı bilgileri içeren sayfalara gitmekten nefret eder, bu nedenle Google da bu sayfalardan nefret eder.

Sayfaları robots.txt aracılığıyla nasıl engelleyebilirim?

Google web yöneticisi kurallarından biri bize  web sunucusundaki robots.txt dosyasını kullanılmasını söyler. Dosyayla sayfaları engellemek birkaç şekilde yapılabilir. Robots.txt dosyasını bilmiyorsanız, önce bağlantılı makaleyi okumak isteyebilirsiniz. Zaten bir robots.txt dosyasının nasıl çalıştığını biliyorsanız izlemeniz gereken yol;

  • Klasörleri engelleme – İçeriği engellemenin en basit yolu klasöre göre engellemedir. Engellemek istediğiniz içeriğiniz varsa, bir klasöre yerleştirebilir ve tüm klasörü engelleyebilirsiniz. Örnek: Disallow: / searchresults /
  • Joker karakterler – Engellenmesini istediğiniz arama sonuçlarınızın veya diğer içeriğinizin tümü dinamik olarak oluşturulmuşsa, sonuçlar “?” şeklinde bir soru işareti url’nizde yer alabilir. Web sitesinin tamamı statikse, ancak arama sonuçlarını veya araç sonuçlarını dinamik olarak sunuyorsanız, bu içeriği engellemenin kolay bir yolu joker karakter kullanmaktır.
    Örnek: Disallow: / *? *
Bu makale faydalı mıydı?
 
899 Okunma   197 Beğeni

Önerilen Yazılar

4 yorum

  1. Serdar Güven

    robots.txt dosyası gerçekten seo açısından bulunmaz bir nimetmiş bunu anlıyorum birçok makalenizde birçok konunun çözümünde hep bu dosya çıkıyor. Bizde kullanıyoruz ama bu kadar derinlemesine bilgimiz olmadığı kesin.

  2. Hakan duman

    Robot.txt in bu konularda en sagliklisi olduhunu düşünüyorum. Tek satır ile konuyu kapatmak.

  3. Teşekkürler Hakan. Sevgiler.

  4. Sürekli güncel kalmak adına, farklı kaynaklardan ileri okumak yapmanızı tavsiye ederiz.
    Geri bildirimleriniz için teşekkürler. Sevgiler.

Görüşleriniz

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir