Generatore di robots.txt

Come si usa

1. Scegli un preset — consenti tutto, blocca tutto o blocca le cartelle CMS più comuni — oppure digita i tuoi percorsi, uno per riga.
2. Aggiungi eccezioni sotto Allow, un crawl delay se ti serve e l'URL completo del tuo sitemap.
3. Spunta l'opzione dei crawler AI se la vuoi, poi scarica robots.txt e caricalo nella root del tuo dominio.

Informazioni su questo strumento

robots.txt è un file di testo semplice nella root di un dominio che dice ai crawler automatici quali percorsi possono richiedere. Segue il Robots Exclusion Protocol, standardizzato come RFC 9309, e la sua struttura è semplice: gruppi che iniziano con una o più righe User-agent seguite da regole Disallow e Allow, più righe Sitemap indipendenti che valgono per l'intero file. I percorsi vengono confrontati per prefisso, * sta per qualsiasi sequenza di caratteri e $ ancora la fine di un URL, quindi /*.pdf$ blocca ogni PDF. Un "Disallow:" vuoto è il modo canonico di dire "scansiona pure tutto".

Questo generatore scrive quella sintassi per te e ripulisce l'input strada facendo: ogni percorso riceve una barra iniziale se te la sei dimenticata, le righe che iniziano con # vengono mantenute come commenti, un elenco di regole vuoto diventa il gruppo canonico che consente tutto, e il crawl delay viene scritto solo quando è un numero positivo. L'opzione dei crawler AI aggiunge un gruppo separato che elenca GPTBot, ChatGPT-User, OAI-SearchBot, CCBot, anthropic-ai, ClaudeBot, Claude-Web, Google-Extended, PerplexityBot, Applebot-Extended, Bytespider, Amazonbot, Meta-ExternalAgent e cohere-ai sotto un unico Disallow: /, che è il modo per rinunciare all'addestramento AI e alla scansione dei motori di risposta senza toccare Googlebot. La riga Sitemap viene validata come URL assoluto, perché i percorsi sitemap relativi vengono ignorati dai motori di ricerca.

Vale la pena ripetere due limiti onesti. Primo, robots.txt è una richiesta, non un muro: i crawler ben educati lo rispettano, gli scraper lo ignorano e tutto ciò che elenchi lì è pubblicamente leggibile — non usarlo mai per nascondere percorsi sensibili. Secondo, vietare un URL ferma la scansione, non l'indicizzazione; una pagina bloccata verso cui altri siti puntano può comunque comparire nei risultati senza descrizione, quindi usa un meta tag noindex sulla pagina stessa quando la vuoi fuori dall'indice. Il file viene generato interamente nel tuo browser e scaricato localmente — nulla del tuo sito viene caricato qui.

La formula

User-agent: / Disallow: / Allow: / Crawl-delay: — ripetuti per ogni gruppo, con Sitemap: su una riga a sé.

Domande frequenti