Robots.txt Denetimi
Alan adının robots.txt dosyasını indirir, kural bloklarını ayrıştırır ve tüm siteyi kapatan bir Disallow, eksik sitemap satırı gibi kritik hataları işaretler.
- Üye girişi gerekirÜyelik ücretsiz
- Ücretsiz paketinde açıkGünde 5 analiz hakkı
- Geçmişe kaydedilirHesabınızdan erişilir
Bu araç neye bakar?
Google'ın sayfanızı tarayıp indekslemesini belirleyen her şey: etiketler, yönlendirmeler, robots, sitemap ve sunucu yanıtları.
- Tüm siteyi kapatan Disallow uyarısı
- Sitemap satırı var mı, adres çalışıyor mu
- User-agent blokları ve özel kurallar
- Sözdizimi hataları ve boşta kalan satırlar
Bu araç ne ölçer?
robots.txt, sitenizin kökünde duran düz bir metin dosyasıdır ve tarayıcılara nereye girip nereye girmeyeceklerini söyler. Küçüklüğüne bakmayın: tek bir yanlış satır bütün siteyi aramadan silebilir. “Disallow: /” yazan bir dosya, sitenin tamamını Googlebot'a kapatır.
Araç dosyayı indirir ve kural bloklarını ayrıştırır. Sonra Google'ın gerçekte uyguladığı kuralı çalıştırır: en uzun eşleşen yol kazanır, eşitlikte Allow öne geçer. Böylece “ana sayfa Googlebot'a açık mı” sorusuna tahminle değil, hesapla cevap verir.
Dosyada bildirdiğiniz Sitemap satırlarını da boş bırakmaz; ilk üç adresi tek tek çağırıp gerçekten yanıt verip vermediğini kontrol eder. Yayına aldıktan aylar sonra fark edilen ölü sitemap adresleri yaygındır.
Nasıl kullanılır?
- 1
Alan adınızı yazın
Dosyanın adresini yazmanıza gerek yok; araç kökte /robots.txt adresini kendisi arar.
- 2
“Googlebot erişimi” satırına bakın
Kırmızıysa her şeyi bırakın ve o kuralı düzeltin. Site aramada hiç görünmüyorsa sebebi genelde burasıdır.
- 3
Sitemap satırını doğrulayın
Satır yoksa ekleyin; varsa denetim sonucunda adresin 200 döndüğünü görün.
- 4
Anlaşılamayan satırları temizleyin
Yazım hatası olan bir yönerge sessizce yok sayılır. Kuralın işe yaradığını sanıp yıllarca yanılabilirsiniz.
Ne zaman kullanmalı?
- Yeni bir siteyi canlıya aldıktan sonra, test ortamındaki “tümünü engelle” kuralının silindiğini doğrulamak için.
- Organik trafik bir gecede düştüğünde ilk bakılacak yer olarak.
- Yönetim paneli ya da filtre adresleri Google'da çıkıyorsa engellemenin doğru yazıldığını görmek için.
- Sitemap adresinizi Search Console'a eklemeden önce dosyada bildirildiğinden emin olmak için.
Sonucu okuma
Dosya bulunamadı (404)
Tek başına hata değil: dosya yoksa tarayıcılar her şeye izinli sayar. Ama sitemap bildiremez ve hiçbir alanı kapatamazsınız.
Googlebot engelli
Acil. Genelde test ortamından kalan “Disallow: /” satırı. Kaldırdıktan sonra indekslemenin geri gelmesi günler alır.
Sitemap satırı yok
Google sitemap'i bulmanın en ucuz yolundan mahrum kalır. Tek satır ekleyin: Sitemap: https://siteniz.com/sitemap.xml
İçerik türü text/plain değil
Sunucu dosyayı HTML gibi gönderiyorsa bazı tarayıcılar içeriği hiç okumaz. Sunucu yapılandırmasından düzeltin.
Tanınmayan yönerge
Yazım hatası ya da desteklenmeyen bir alan. Satır çalışmıyor; kaldırın ya da doğru yazımıyla değiştirin.
Robots.txt Denetimi hakkında sık sorulanlar
Çıkarmaz. Disallow yalnızca TARAMAYI engeller. Başka sitelerden bağlantı alan engellenmiş bir adres, içeriği okunmadan yalnızca adresiyle indekste görünebilir. İndeksten çıkarmak için sayfaya noindex koymalı ve o sayfanın taranmasına izin vermelisiniz.
Daha uzun, yani daha belirli olan yol kazanır. “Disallow: /panel/” ile “Allow: /panel/yardim/” birlikte yazılırsa yardım sayfası açık kalır. İki kural aynı uzunluktaysa Allow öne geçer.
Hayır. Google sayfayı gerçek bir tarayıcı gibi çizerek değerlendirir. Stil ve betik dosyaları engellenmişse sayfayı bozuk görür ve mobil uyumluluk gibi değerlendirmeler yanlış çıkar.
Google 500 KB'a kadar okur, fazlasını yok sayar. Pratikte bir robots.txt dosyasının bu boyuta yaklaşması, kuralların adres adres yazıldığı anlamına gelir; onun yerine kalıp (*) kullanın.
Bununla birlikte kullanın
Aynı kategorideki diğer araçlar. Birlikte çalıştırdığınızda resmin tamamını görürsünüz.
Araç sorunu buldu, sıra düzeltmede
Teknik SEO, içerik ve AI görünürlük çalışmalarını baştan sona yürütüyoruz. Sitenizi inceleyip ne yapılması gerektiğini net bir listeyle paylaşalım.
Pazartesi – Cumartesi 09:00 – 18:00