Bangun robots.txt yang valid dengan preset, aturan khusus, pemblokiran crawler AI, dan baris sitemap Anda.
robots.txt adalah berkas teks polos di root sebuah domain yang memberi tahu crawler otomatis jalur mana yang boleh mereka minta. Ia mengikuti Robots Exclusion Protocol, yang dibakukan sebagai RFC 9309, dan strukturnya sederhana: kelompok yang diawali satu atau beberapa baris User-agent lalu diikuti aturan Disallow dan Allow, ditambah baris Sitemap mandiri yang berlaku untuk seluruh berkas. Jalur dicocokkan berdasarkan awalan, * mewakili deretan karakter apa pun, dan $ menandai akhir sebuah URL, jadi /*.pdf$ memblokir setiap PDF. "Disallow:" yang kosong adalah cara kanonis untuk berkata "boleh menjelajah apa saja".
Generator ini menuliskan sintaks itu untuk Anda sekaligus merapikan masukannya: setiap jalur diberi garis miring di depan bila Anda lupa, baris yang diawali # dipertahankan sebagai komentar, daftar aturan yang kosong menjadi kelompok izinkan-semua yang kanonis, dan crawl delay hanya ditulis bila berupa angka positif. Opsi crawler AI menambahkan kelompok terpisah yang mendaftar GPTBot, ChatGPT-User, OAI-SearchBot, CCBot, anthropic-ai, ClaudeBot, Claude-Web, Google-Extended, PerplexityBot, Applebot-Extended, Bytespider, Amazonbot, Meta-ExternalAgent, dan cohere-ai di bawah satu Disallow: /, dan itulah cara Anda menolak pelatihan AI serta penjelajahan mesin jawaban tanpa menyentuh Googlebot. Baris Sitemap divalidasi sebagai URL absolut, karena jalur sitemap relatif diabaikan mesin pencari.
Dua batasan jujur perlu diulang. Pertama, robots.txt adalah permintaan, bukan tembok: crawler yang tertib mematuhinya, scraper mengabaikannya, dan apa pun yang Anda cantumkan di sana bisa dibaca publik — jangan pernah memakainya untuk menyembunyikan jalur sensitif. Kedua, melarang sebuah URL menghentikan penjelajahan, bukan pengindeksan; halaman yang diblokir tetapi ditautkan situs lain masih bisa muncul di hasil pencarian tanpa deskripsi, jadi pakai tag meta noindex di halaman itu sendiri bila Anda ingin mengeluarkannya dari indeks. Berkasnya dibuat sepenuhnya di browser Anda dan diunduh secara lokal — tidak ada informasi tentang situs Anda yang diunggah ke sini.
User-agent:
Di root domain, dapat diakses di https://situsanda.com/robots.txt. Crawler hanya melihat di sana — berkas di dalam subfolder diabaikan, dan setiap subdomain butuh berkasnya sendiri.
Tidak. Ia menghentikan halaman itu dari dijelajahi, tetapi URL yang diblokir masih bisa terindeks lewat tautan eksternal. Untuk menjaga sebuah halaman keluar dari hasil pencarian, izinkan penjelajahan dan tambahkan tag meta noindex ke halaman tersebut.
Sebagian ya, sebagian tidak. OpenAI, Google, dan Anthropic mendokumentasikan user-agent mereka dan mematuhi berkas ini; banyak scraper mengabaikannya sama sekali. Memblokir adalah sinyal yang jelas, bukan penegakan.
Tidak — Googlebot mengabaikan direktif ini dan mengatur lajunya sendiri, meski Bing dan Yandex memang membacanya. Gunakan Search Console bila Anda perlu memperlambat Google.
Jangan. Memblokir berkas CSS atau JS mencegah mesin pencari merender halaman Anda sebagaimana dilihat pengguna, yang bisa merugikan peringkat, dan sitemap harus tetap dapat diakses.
Tidak. Berkasnya dirakit oleh JavaScript di perangkat Anda dan langsung disimpan ke folder unduhan Anda.
Vai.la mengubah URL apa pun menjadi tautan pendek dengan statistik klik, QR Code, dan biolink Anda sendiri.
Vai.la tidak bertanggung jawab atas cara alat-alat ini digunakan maupun atas keputusan yang diambil berdasarkan hasilnya.