Hazır ayarlar, özel kurallar, yapay zekâ tarayıcılarını engelleme ve site haritası satırıyla geçerli bir robots.txt oluşturun.
robots.txt, bir alan adının kökünde bulunan ve otomatik tarayıcılara hangi yolları isteyebileceklerini söyleyen düz metin dosyasıdır. RFC 9309 olarak standartlaştırılan Robots Exclusion Protocol'ü izler ve yapısı basittir: bir veya daha fazla User-agent satırıyla başlayıp Disallow ve Allow kurallarıyla devam eden gruplar, artı dosyanın tamamı için geçerli olan bağımsız Sitemap satırları. Yollar önek olarak eşleştirilir, * herhangi bir karakter dizisini temsil eder ve $ bir URL'nin sonuna sabitler; yani /*.pdf$ her PDF'i engeller. Boş bir "Disallow:" ise "her şeyi tara" demenin kanonik yoludur.
Bu oluşturucu o sözdizimini sizin için yazar ve girdiyi yol boyunca temizler: unuttuysanız her yola baştaki eğik çizgi eklenir, # ile başlayan satırlar yorum olarak korunur, boş bir kural listesi kanonik her şeye izin ver grubuna dönüşür ve tarama gecikmesi yalnızca pozitif bir sayıysa yazılır. Yapay zekâ tarayıcısı seçeneği; GPTBot, ChatGPT-User, OAI-SearchBot, CCBot, anthropic-ai, ClaudeBot, Claude-Web, Google-Extended, PerplexityBot, Applebot-Extended, Bytespider, Amazonbot, Meta-ExternalAgent ve cohere-ai'yi tek bir Disallow: / altında listeleyen ayrı bir grup ekler; Googlebot'a dokunmadan yapay zekâ eğitiminden ve cevap motoru taramasından çıkmanın yolu budur. Sitemap satırı mutlak URL olarak doğrulanır, çünkü göreli site haritası yolları arama motorları tarafından yok sayılır.
Yinelemeye değer iki dürüst sınır var. Birincisi, robots.txt bir duvar değil, bir ricadır: düzgün davranan tarayıcılar uyar, kazıyıcılar yok sayar ve orada listelediğiniz her şey herkesçe okunabilir — hassas yolları gizlemek için asla kullanmayın. İkincisi, bir URL'yi engellemek taramayı durdurur, dizine eklenmeyi değil; başka sitelerin bağlantı verdiği engellenmiş bir sayfa yine de açıklamasız olarak sonuçlarda çıkabilir. Bir sayfayı dizinden çıkarmak istediğinizde sayfanın kendisinde noindex meta etiketi kullanın. Dosya tamamen tarayıcınızda oluşturulur ve yerel olarak indirilir — sitenizle ilgili hiçbir bilgi buraya yüklenmez.
User-agent:
Alan adının köküne, https://siteniz.com/robots.txt adresinden erişilebilecek şekilde. Tarayıcılar yalnızca oraya bakar — alt klasördeki bir dosya yok sayılır ve her alt alan adının kendi dosyası gerekir.
Hayır. Sayfanın taranmasını durdurur, ama engellenmiş bir URL dış bağlantılar üzerinden yine dizine girebilir. Bir sayfayı sonuçların dışında tutmak için taramaya izin verin ve sayfaya noindex meta etiketi ekleyin.
Bazıları uyuyor, bazıları uymuyor. OpenAI, Google ve Anthropic user-agent'larını belgeliyor ve dosyaya saygı gösteriyor; pek çok kazıyıcı ise tümüyle yok sayıyor. Engelleme bir zorlama değil, açık bir sinyaldir.
Hayır — Googlebot bu yönergeyi yok sayar ve kendi hızını ayarlar; ancak Bing ve Yandex okur. Google'ı yavaşlatmanız gerekiyorsa Search Console'u kullanın.
Hayır. CSS veya JS dosyalarını engellemek, arama motorlarının sayfalarınızı kullanıcıların gördüğü gibi işlemesini engeller ve sıralamalara zarar verebilir; site haritası da erişilebilir kalmalıdır.
Hayır. Dosya cihazınızdaki JavaScript ile birleştirilir ve doğrudan indirilenler klasörünüze kaydedilir.
Vai.la, herhangi bir URL'yi tıklama istatistikleri, QR Code ve kendi biolink'inizle birlikte kısa bir bağlantıya dönüştürür.
Vai.la, araçların nasıl kullanıldığından veya sonuçlarına dayanarak alınan kararlardan sorumlu değildir.