Yeni Sayfalar Neden Geç İndeksleniyor? Log Dosyalarıyla Googlebot'u Yönlendirmek
Yüzlerce yeni ürün ekliyorsunuz ama Google haftalarca uğramıyor mu? Sunucu loglarını kullanarak Googlebot'u taranmamış sayfalara yönlendiren sistemi anlatıyoruz.
Sayfa indekslenmiyor mu? Büyük bir katalog yöneten her e-ticaret ekibi aynı şeyi yaşar: Yeni ürünler yayına girer ama Search Console'da "Keşfedildi – şu anda dizine eklenmemiş" olarak haftalarca bekler. Sorun çoğu zaman sayfanın kalitesi değil; Googlebot'un o sayfaya henüz hiç gelmemiş olmasıdır.
Temel Fikir: Google'a Sürekli "Henüz Görmediği" Sayfaları Göstermek
Bir sayfanın gerçekten tarandığını kesin olarak bilmenin tek yolu sunucu loglarıdır. Bu bilgiyi kullanarak kendini güncelleyen bir sistem kurulabilir. Sektörde paylaşılan bir uygulamada bu yöntemle indeksteki sayfa sayısı bir milyonun üzerine çıkmış.
SürekliGooglebot ziyaretine göre güncellenen liste
Mantık şu: Google yeni içeriği sever. Google News site haritaları bu yüzden çok sık taranır. Siz de sitenizde sürekli değişen, sadece "taranmamış" sayfaları içeren bir liste tutarsanız, Googlebot her gelişinde yeni bir şey bulur.
Sistem Nasıl Kurulur?
1"Taranmamış" listesi oluşturun
Yeni yayınlanan her URL listeye eklenme tarihiyle girer
En yeniler en üstte
Sonuç: Öncelik sıralı URL kuyruğu
2Dinamik site haritası üretin
Listenin ilk 10-20 bin satırı sitemap-yeni.xml dosyasını oluşturur
Sonuç: Sürekli taze bir site haritası
3"Son eklenenler" bloğunu besleyin
Sitenin her sayfasında görünen küçük bir link alanı, örneğin footer üstünde "Yeni gelen ürünler"
Sayfa üzerindeki konumu ne kadar belirginse etkisi o kadar yüksek
Sonuç: Her sayfadan yeni ürünlere link
4Logları izleyin
Googlebot bir URL'yi istediğinde o URL listeden çıkar
Sonuç: Liste kendini günceller
5Kalıcı site haritasına taşıyın
Taranan URL kategori veya tarih bazında normal site haritalarına eklenir
10 binden fazla ürünü olan e-ticaret siteleri: En büyük faydayı bunlar görür.
İlan, emlak ve haber siteleri: Sürekli yeni sayfa üretenler için uygundur.
200 sayfalık kurumsal siteler: Gerek yok; tarama bütçesi sorunu yaşamazlar, normal site haritası yeterli.
Dikkat Edilecekler
Kurulumu yazılımcı yapmalı. Log okuma, veritabanı ve site haritası üretimi birbirine bağlı.
Googlebot'u doğrulayın. Log'da "Googlebot" yazan her istek Google'dan gelmez; IP doğrulaması yapın.
Keşif, kalıcılığı garanti etmez. Sayfa indekse girdikten sonra orada kalması içerik kalitesine ve kalıcı iç linklere bağlı.
Canonical'lı veya noindex sayfaları listeye koymayın. Bunlar keşif için işe yaramaz.
Ticimax veya IdeaSoft gibi hazır altyapılarda sunucu loglarına erişim sınırlı olabilir. Bu durumda Search Console'daki Tarama İstatistikleri raporu ve "Son eklenenler" bloğu tek başına bile başlangıç için yeterli. Sitenizin tarama verilerini birlikte incelemek için Zeus Dijital ekibiyle iletişime geçebilirsiniz.
Sık sorulan sorular
"Keşfedildi – şu anda dizine eklenmemiş" ne demek?
Google sayfanın varlığından haberdar olmuş ama henüz taramamış demektir. Büyük sitelerde genellikle tarama önceliği veya sunucu kapasitesiyle ilgilidir; sayfaya daha belirgin iç linkler vermek ve site haritasını güncel tutmak yardımcı olur.
Sunucu logu nedir, nereden alınır?
Sunucuya gelen her isteğin tarih, IP, istenen URL ve yanıt koduyla kaydedildiği dosyadır. cPanel, Plesk veya hosting panelinizdeki "Raw Access Logs" bölümünden indirilebilir; hazır e-ticaret altyapılarında destek ekibinden talep edilir.
Bir isteğin gerçekten Googlebot'tan geldiği nasıl doğrulanır?
IP adresine ters DNS sorgusu yapın; sonuç googlebot.com veya google.com ile bitmeli. Ardından bu alan adına ileri DNS sorgusu yapıp aynı IP'nin döndüğünü kontrol edin.
Zeus Dijital'in kurucusu. Markalara ve dijital ajanslara SEO danışmanlığı veriyor; teknik SEO, e-ticaret SEO ve yapay zekâ aramalarında görünürlük (GEO) üzerine çalışıyor. Clicks'us Digital, Shopiuzman, Hype, SEOPix ve Medyaşef gibi ajanslara danışmanlık ve white label SEO desteği sağladı.