Google Robots.txt Dosyalarını Artık Desteklemeyecek mi?

Google 2 Temmuz 2019 günü, yaptığı resmi açıklamayla artık arama motoru botlarının indeksleme sırasında robots.txt dosyalarında yer alan noindex yönergesini dikkate almayacağını dile getirdi. Ayrıca, noindex yönergesini kullanan yayıncıların, 1 Eylül 2019'a kadar bu yönergeleri kaldırmaları veya alternatif yolları kullanmaya başlamaları için süre tanıdığını açıkladı. Robot.txt dosyası konusunda bilgi sahibi değilseniz, önceki yazımıza bakabilirsiniz.

Robots.txt Noindex Yönergesi Resmi Değil

Google, bu yapılan değişikliğin sebebini; noindex yönergesinin belirlenen gayri resmi çerçeveleri içerisinde olmadığını dile getirerek açıkladı. Ayrıca bu yönerge, verilen on iki durumun on birinde doğru çalışıyordu. Ancak, bunlar %100 doğru çalışan yönergeler değildi. Bu durum internet sitesi yöneticilerinin, öngörülerinin yanıltılmasına ve sitelerine zarar verebilecek bir duruma dönüştürülmesine neden olabiliyordu. Hepsinin sonucu olarak; Google, daha sağlıklı bir ekosistem ile, gelecek dönemler için daha kuvvetli ve potansiyeli yüksek bir açık kaynak ortamı sağlayabilmek için noindex robots.txt yönergesini rafa kaldıracak.

Robots.txt Noindex Yönergesinin Alternatifleri

Google Webmaster Blog sayfasından paylaşılan haberde, bu aşamada robots.txt dosyası ve noindex yönergesi kullanan siteler için 1 Eylül 2019'a kadar sitelerini bu güncellemeye adapte etmek için uygulayabilecekleri alternatif yollar şu şekilde sıralanmıştır;

• Meta etiketine noindex eklemesi; URL'nizin Google tarafından taranırken dizine alınmamasının en etkili yollarındandır.
• 404 ve 410 HTTP durum kodları; sayfanın varolmadığı anlamı vermektedir, google botları sayfayı bu şekilde taradıktan sonra, işleyerek dizinden çıkarmaktadır.
• Robots.txt dosyasında disallow yönergesi ile; arama motoru sadece dizine eklediği sayfaları tanımakta, yani taranmayan sayfalar genellikle dizine alınmamaktadır. Arama motorları, diğer sayfalardaki  linklerini temel alarak URL'yi dizinleyebilse de, içeriği görmeden ileride bu sayfaların görünürlüğünü azaltmayı hedefler.
• Google Search Console URL kaldırma aracı ile; hızlı ve kolay bir şekilde URL'yi geçici olarak arama sonuçlarından kaldırabilirsiniz.

Kaynak: https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html