Başa Dönün

Google Robots.txt Dosyalarını Artık Desteklemeyecek mi?


Meriç Leventler 03/07/2019
23/07/2019 Tarihinde Güncellendi


Google 2 Temmuz 2019 günü, yaptığı resmi açıklamayla artık arama motoru botlarının indeksleme sırasında robots.txt dosyalarında yer alan noindex yönergesini dikkate almayacağını dile getirdi. Ayrıca, noindex yönergesini kullanan yayıncıların, 1 Eylül 2019’a kadar bu yönergeleri kaldırmaları veya alternatif yolları kullanmaya başlamaları için süre tanıdığını açıkladı. Robot.txt dosyası konusunda bilgi sahibi değilseniz, önceki yazımıza bakabilirsiniz.

Robots.txt Noindex Yönergesi Resmi Değil

Google bu yaptığı değişikliğin nedeni olarak; noindex yönergesinin gayriresmi, belirlenen çerçeveler içersinde olmadığını dile getirdi. Ayrıca bu yönerge 12 durumun 11’inde doğru çalışıyordu. Ancak %100 doğru çalışan bir yönerge değildi. Bu durum internet sitesi yöneticilerinin öngörülerini yanıltmasına ve sitelerine zarar verebilen bir duruma dönüştürmesine neden olabiliyordu, Hepsinin sonucu olarak Google, daha sağlıklı bir ekosistem ve ileri dönemler için daha kuvvetli, potansiyelli, açık kaynak ortamı sağlamak açısından noindex robots.txt yönergesini rafa kaldıracak.

Robots.txt Noindex Yönergesinin Alternatifleri

Google Webmaster Blog sayfasından paylaşılan haberde, bu aşamada robots.txt dosyası ve noindex yönergesi kullanan siteler için 1 Eylül 2019’a kadar sitelerini bu güncellemeye adapte etmek için uygulayabilecekleri alternatif yollar şu şekilde sıralanmıştır;

  • Meta etiketine noindex eklemesi; URL’nizin Google tarafından taranırken dizine alınmamasının en etkili yollarındandır.
  • 404 ve 410 HTTP durum kodları; sayfanın varolmadığı anlamı vermektedir, google botları sayfayı bu şekilde taradıktan sonra, işleyerek dizinden çıkarmaktadır.
  • Robots.txt dosyasında disallow yönergesi ile; arama motoru sadece dizine eklediği sayfaları tanımakta, yani taranmayan sayfalar genellikle dizine alınmamaktadır. Arama motorları, diğer sayfalardaki  linklerini temel alarak URL’yi dizinleyebilse de, içeriği görmeden ileride bu sayfaların görünürlüğünü azaltmayı hedefler.
  • Google Search Console URL kaldırma aracı ile; hızlı ve kolay bir şekilde URL’yi geçici olarak arama sonuçlarından kaldırabilirsiniz.

Kaynak: https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Bu makale faydalı mıydı?
 
37 Okunma   4 Beğeni
Author avatar

Meriç Leventler

Dijital pazarlama ve sosyal girişimcilik konularına meraklı, dijitaldeki gelişmeleri takip eder.

Önerilen Yazılar

Görüşleriniz

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir