Yapay zekâ şirketlerinin tarayıcıları, içeriğinizi model eğitimi, yapay zekâ destekli arama sonuçları veya kullanıcı isteklerine yanıt vermek gibi farklı amaçlarla ziyaret eder. Bu araç, girdiğiniz alan adının robots.txt dosyasını okuyarak GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, CCBot, Googlebot ve Bingbot için erişim durumunu tek tabloda gösterir. Ayrıca sitenizin kök dizininde bir llms.txt dosyası bulunup bulunmadığını da kontrol eder.
Yalnızca herkese açık sayfa okunur; sorgular kaydedilmez.
GPTBot, ClaudeBot ve CCBot gibi botlar büyük ölçüde model eğitiminde kullanılabilecek içerik toplar; OAI-SearchBot, Claude-SearchBot ve PerplexityBot ise yapay zekâ destekli arama sonuçları için çalışır. Eğitimi engellemek ama yapay zekâ yanıtlarında kaynak olarak görünmeye devam etmek istiyorsanız bu botlar için ayrı kurallar yazabilirsiniz.
Bir tarayıcı, robots.txt dosyasında kendi adıyla eşleşen bir kullanıcı ajanı grubu bulursa yalnızca o gruptaki kurallara uyar ve "User-agent: *" grubunu dikkate almaz. Örneğin GPTBot için ayrı bir blok yazdıysanız genel bloktaki engellemeleri o bloğa da eklemeniz gerekir.
Cloudflare gibi CDN ve güvenlik duvarı (WAF) hizmetleri, bazı yapay zekâ botlarını robots.txt dosyanızdan bağımsız olarak engelleyebilir. Bu engeller robots.txt dosyasında görünmediği için barındırma veya CDN panelinizdeki bot yönetimi ayarlarını ayrıca gözden geçirin.
Hayır. Araç yalnızca robots.txt dosyanızdaki kuralları yorumlar. Cloudflare gibi CDN'ler, güvenlik duvarları (WAF) veya sunucu yapılandırması bir botu robots.txt dosyasından bağımsız olarak engelleyebilir ve bu engeller dosyada görünmez. Botların gerçekten erişip erişemediğini görmek için sunucu erişim kayıtlarınızı (log) veya CDN panelinizi inceleyin.
Robots.txt teknik bir engel değil, tarayıcılara yöneltilmiş bir ricadır. OpenAI, Anthropic, Google ve Common Crawl gibi kuruluşlar tanımlanmış botlarının bu kurallara uyduğunu belirtse de bazı tarayıcılar kuralları yok sayabilir veya kendini farklı bir kullanıcı ajanıyla tanıtabilir. Ayrıca bazı şirketler, ChatGPT-User gibi bir kullanıcının isteği üzerine sayfa açan ajanlar için robots.txt kurallarının otomatik taramalarla aynı şekilde uygulanmayabileceğini belirtmektedir.
Robots.txt adresi 404 döndürüyorsa tarayıcılar kısıtlama olmadığını varsayar ve sitenin tamamını tarayabilir. Dosya 5xx sunucu hatası verdiğinde ise Google, sorun giderilene kadar siteyi geçici olarak tamamen engellenmiş gibi değerlendirebilir. Bu nedenle robots.txt dosyanızın 200 durum koduyla erişilebilir olması önemlidir.
Girdiğiniz alan adının herkese açık robots.txt ve llms.txt dosyaları sunucumuz tarafından okunur; giriş, parola veya özel erişim gerektiren içerikler analiz edilemez. Kötüye kullanımı önlemek için saatlik bir sorgu sınırı uygulanır; sınıra ulaştığınızda bir süre sonra yeniden deneyebilirsiniz.
Sitenizi uzman gözüyle inceleyip size özel bir SEO ve GEO yol haritası çıkaralım.
Ücretsiz görüşme planlaMesajlarınıza en geç bir iş günü içinde dönüş yapıyoruz.
Ahmediye, Dr. Fahri Atabey Cd. No:26, 34672 Üsküdar/İstanbul