Robots.txt Oluşturucu: Arama ve Yapay Zekâ Tarayıcıları İçin

Tek başına hayır. Robots.txt taramayı engeller, dizine eklenmeyi değil; engellenen bir URL'ye başka sitelerden bağlantı varsa Google o adresi içeriğini görmeden de dizine ekleyebilir. Bir sayfanın arama sonuçlarında görünmemesini istiyorsanız noindex meta etiketi kullanmalı ve Google'ın bu etiketi görebilmesi için sayfayı robots.txt ile engellememelisiniz.

Google'ın açıklamasına göre hayır. Google-Extended ayrı bir tarayıcı değil, içeriğinizin Gemini modellerinin eğitiminde ve Vertex AI'daki grounding (yanıtları kaynaklara dayandırma) kullanımında yer alıp almayacağını kontrol eden bir belirteçtir. Google Arama'ya dahil edilmenizi veya sıralamanızı etkilemez; arama taraması Googlebot ile yapılmaya devam eder.

Robots.txt teknik bir engel değil, tarayıcılara yönelik bir talimattır. OpenAI, Anthropic, Google ve Common Crawl gibi şirketler botlarının robots.txt kurallarına uyduğunu belirtir, ancak kurallara uymayan tarayıcılar da bulunabilir. Hassas içerikleri korumak için parola veya sunucu tarafı erişim kısıtlaması gibi yöntemler kullanılmalıdır.

Dosya, alan adınızın kök dizininde ve tam olarak robots.txt adıyla bulunmalıdır (örneğin https://www.ornek.com/robots.txt). Kurallar yalnızca bulunduğu protokol ve alan adı için geçerlidir; alt alan adlarının her biri kendi dosyasına ihtiyaç duyar. Araç dosyayı tarayıcınızda oluşturur, girdiğiniz yollar sunucumuza gönderilmez.