Robots.txt Üretici
Arama motoru ve yapay zekâ botlarına ne yapmaları gerektiğini anlatan robots.txt dosyasını üretir; sitemap satırını ve yaygın engelleme kalıplarını ekler.
- Üye girişi gerekirÜyelik ücretsiz
- Ücretsiz paketinde açıkGünde 5 analiz hakkı
- Geçmişe kaydedilirHesabınızdan erişilir
Bu araç neye bakar?
Elle yazarken hata yapmanın kolay olduğu her şeyi hazır üretir: meta etiketler, schema, robots.txt, sitemap ve yönlendirme kuralları.
- Arama motoru ve AI botları ayrı yönetilir
- Sitemap satırı otomatik eklenir
- Yaygın panel ve filtre adresleri hazır kalıp olarak
Bu araç ne ölçer?
robots.txt, sitenizi ziyaret eden botlara hangi yolları tarayabileceklerini söyleyen tek satırlık kurallardan oluşur. Yanlış yazılmış bir satır sitenin tamamını aramadan düşürebildiği için, elle yazmanın en pahalıya patladığı dosya budur.
Araç iki karar üzerinden dosyayı kurar: site taramaya açık mı, yapay zekâ botlarına izin var mı. Açık modda genel kural, engellemek istediğiniz dizinler ve sitemap satırı yazılır. Kapalı modda dosya yalnız “Disallow: /” içerir ve başına açık bir uyarı düşülür, çünkü bu ayar geliştirme ortamı içindir.
Yapay zekâ tarafında iki uç var. İzin verdiğinizde GPTBot, PerplexityBot ve ClaudeBot için açık birer izin satırı yazılır. Engellediğinizde on bir bot tek tek kapatılır: içeriğiniz model eğitiminde kullanılmaz, ama AI yanıtlarında da kaynak gösterilmezsiniz.
Nasıl kullanılır?
- 1
Site adresini yazın
Adres yalnızca sitemap satırını kurmak için kullanılır. Alt alan adları ayrı sayılır: blog.ornek.com için ayrı bir robots.txt gerekir, ana alan adınınki oraya geçmez.
- 2
Genel kuralı seçin
Canlı site için “taramaya aç”. “Taramaya kapat” yalnız test ortamında kullanılır ve o dosyanın yanlışlıkla canlıya çıkması, sitenin birkaç gün içinde aramadan silinmesi demektir.
- 3
Engellenecek dizinleri sıralayın
Her satıra bir yol yazın; başında eğik çizgi yoksa eklenir. En fazla 100 satır işlenir. Panel, hesap ve filtre adresleri (/admin, /hesap, /*?filtre=) tipik adaylardır.
- 4
AI botları için karar verin
AI aramalarında görünmek istiyorsanız izin verin. İçeriğinizin eğitimde kullanılmasını istemiyorsanız engelleyin. Bu bir tercih, teknik bir doğru yok.
- 5
Dosyayı kök dizine koyup doğrulayın
Yerleşim ayrıntıları aşağıda. Yükledikten sonra Robots.txt Denetimi aracıyla dosyanın gerçekten okunabildiğini ve kuralların beklediğiniz gibi işlediğini kontrol edin.
Ne zaman kullanmalı?
- Yeni bir site yayına alırken, geliştirme sırasında kullanılan kapalı dosyayı açık sürümle değiştirmek için.
- Arama sonuçlarında sepet, filtre ve hesap adreslerinin çıktığını fark ettiğinizde.
- Yapay zekâ botlarına karşı politikanızı ilk kez yazıya dökerken.
- Sunucu günlüklerinde tanımadığınız botların yoğun tarama yaptığını gördüğünüzde.
Sonucu okuma
Dosya nereye konur
Alan adının tam kökünde, ornek.com/robots.txt adresinden erişilebilir olmalı. Alt dizinde (ornek.com/site/robots.txt) duran dosya hiçbir bot tarafından okunmaz. Sunucu dosyayı text/plain olarak göndermeli.
Next.js projesinde
İki yol var: dosyayı public/robots.txt olarak koymak ya da app/robots.ts içinde MetadataRoute.Robots döndüren bir fonksiyon yazmak. İkisini aynı anda kullanmayın; public klasöründeki dosya yönlendirmeyi kazanır ve app/robots.ts sessizce devre dışı kalır.
WordPress'te
WordPress varsayılan olarak sanal bir robots.txt üretir. Kök dizine gerçek bir dosya koyduğunuzda bu sanal dosya devre dışı kalır. Yoast kullanıyorsanız Araçlar bölümündeki dosya düzenleyiciden aynı içeriği yazabilirsiniz.
Engellemek dizinden çıkarmaz
robots.txt taramayı engeller, dizine almayı değil. Başka sitelerden bağlantı alan engelli bir adres, açıklaması olmayan bir sonuç olarak aramada kalabilir. Bir sayfayı sonuçlardan çıkarmak için noindex etiketi kullanın ve o sayfayı robots.txt ile engellemeyin, yoksa Google etiketi okuyamaz.
Kapalı mod uyarısı
Kapalı modda sitemap satırı bilerek yazılmaz ve dosyanın başına iki satırlık uyarı düşülür. Bu uyarıyı silmeyin; dosyanın canlıya yanlışlıkla taşınmasını fark etmenizi sağlayan tek işaret odur.
Robots.txt Üretici hakkında sık sorulanlar
Hayır. Dosyanın kendisi herkese açıktır; oraya yazdığınız her yol, gizlemek istediğiniz dizinin adresini ilan eder. Gerçek koruma için parola ya da sunucu tarafında yetki denetimi gerekir.
Klasik arama trafiğiniz etkilenmez, çünkü Googlebot ayrı bir bottur. Etkilenen, ChatGPT ve Perplexity gibi araçların yanıtlarında kaynak olarak görünmenizdir. Google-Extended'ı engellemek AI Overviews'da görünürlüğünüzü azaltır.
Bir adres için en uzun eşleşen kural kazanır, sıra önemli değil. Bu yüzden /admin engelliyken /admin/genel için açık bir Allow satırı yazmak işe yarar.
Google robots.txt dosyasını genelde günde birkaç kez okur, yani değişiklik saatler içinde geçerli olur. Search Console'daki robots.txt raporundan en son ne zaman okunduğunu görebilirsiniz.
Bununla birlikte kullanın
Aynı kategorideki diğer araçlar. Birlikte çalıştırdığınızda resmin tamamını görürsünüz.
Araç sorunu buldu, sıra düzeltmede
Teknik SEO, içerik ve AI görünürlük çalışmalarını baştan sona yürütüyoruz. Sitenizi inceleyip ne yapılması gerektiğini net bir listeyle paylaşalım.
Pazartesi – Cumartesi 09:00 – 18:00