Robots.txt-generator

Bygg en gyldig robots.txt med forhåndsinnstillinger, egne regler, blokkering av AI-crawlere og din sitemap-linje.

Inndata

Slik bruker du verktøyet

Velg en forhåndsinnstilling – tillat alt, blokker alt eller blokker de vanlige CMS-mappene – eller skriv dine egne stier, én per linje.
Legg til unntak under Allow, en crawl delay hvis du trenger det, og den fulle URL-en til sitemapet ditt.
Kryss av for AI-crawlere hvis du vil, last ned robots.txt og legg filen i roten av domenet ditt.

Om dette verktøyet

robots.txt er en ren tekstfil i roten av et domene som forteller automatiske crawlere hvilke stier de får hente. Den følger Robots Exclusion Protocol, standardisert som RFC 9309, og strukturen er enkel: grupper som starter med én eller flere User-agent-linjer etterfulgt av Disallow- og Allow-regler, pluss frittstående Sitemap-linjer som gjelder hele filen. Stier matches på prefiks, * står for en hvilken som helst tegnrekke og $ forankrer slutten av en URL, så /*.pdf$ blokkerer alle PDF-er. En tom «Disallow:» er den kanoniske måten å si «hent hva du vil».

Denne generatoren skriver den syntaksen for deg og rydder i inndataene underveis: hver sti får en innledende skråstrek hvis du glemte den, linjer som starter med # beholdes som kommentarer, en tom regelliste blir til den kanoniske «tillat alt»-gruppen, og crawl delay skrives bare når den er et positivt tall. AI-crawler-valget føyer til en egen gruppe som lister GPTBot, ChatGPT-User, OAI-SearchBot, CCBot, anthropic-ai, ClaudeBot, Claude-Web, Google-Extended, PerplexityBot, Applebot-Extended, Bytespider, Amazonbot, Meta-ExternalAgent og cohere-ai under én felles Disallow: /, som er måten du reserverer deg mot AI-trening og svarmotor-crawling uten å røre Googlebot. Sitemap-linjen valideres som en absolutt URL, fordi relative sitemap-stier ignoreres av søkemotorene.

To ærlige begrensninger er verdt å gjenta. For det første er robots.txt en anmodning, ikke en mur: veloppdragne crawlere følger den, skrapere ignorerer den, og alt du fører opp der er offentlig lesbart – bruk den aldri til å skjule sensitive stier. For det andre stopper en Disallow crawling, ikke indeksering; en blokkert side som andre nettsteder lenker til, kan fortsatt dukke opp i resultatene uten beskrivelse, så bruk en noindex-metatagg på selve siden når du vil ha den ut av indeksen. Filen genereres utelukkende i nettleseren din og lastes ned lokalt – ingenting om nettstedet ditt lastes opp her.

Formelen

User-agent: / Disallow: / Allow: / Crawl-delay: – gjentatt per gruppe, med Sitemap: på sin egen linje.

Ofte stilte spørsmål

Hvor skal robots.txt-filen ligge?

I roten av domenet, tilgjengelig på https://dittnettsted.no/robots.txt. Crawlere ser bare der – en fil i en undermappe ignoreres, og hvert underdomene trenger sin egen.

Fjerner Disallow en side fra Google?

Nei. Det stopper crawling av siden, men en blokkert URL kan fortsatt indekseres via eksterne lenker. Vil du holde en side ute av resultatene, må du tillate crawling og legge en noindex-metatagg på siden.

Respekterer AI-crawlere robots.txt i praksis?

Noen gjør det, andre ikke. OpenAI, Google og Anthropic dokumenterer sine user-agents og følger filen; mange skrapere ignorerer den fullstendig. Blokkering er et tydelig signal, ikke håndhevelse.

Støtter Google Crawl-delay?

Nei – Googlebot ignorerer direktivet og justerer sin egen hastighet, mens Bing og Yandex leser det. Bruk Search Console hvis du trenger å bremse Google.

Bør jeg blokkere sitemapet eller CSS- og JavaScript-filene mine?

Nei. Å blokkere CSS- eller JS-filer hindrer søkemotorene i å gjengi sidene slik brukerne ser dem, noe som kan skade rangeringen, og sitemapet må forbli tilgjengelig.

Blir noe av det jeg skriver lastet opp?

Nei. Filen settes sammen av JavaScript på enheten din og lagres rett i nedlastingsmappen din.

robots.txt seo técnico googlebot crawler indexação rastreamento sitemap user-agent disallow gptbot bots de ia webmaster

Relaterte verktøy

XML-sitemapgenerator Gjør en liste med URL-er om til en gyldig sitemap.xml, generert og lastet ned i nettleseren. llms.txt-generator Lag en llms.txt-fil som forteller AI-assistenter hvilke sider på nettstedet ditt som faktisk betyr noe. Hreflang-taggenerator Bygg hele hreflang-lenkeblokken for de flerspråklige sidene dine i nettleseren. UTM-lenkebygger Bygg kampanjelenker med utm_source, utm_medium og utm_campaign – riktig kodet, i nettleseren. Min nettleserinformasjon Se nettleseren din, operativsystemet, skjermoppløsningen, språket og andre detaljer enheten din avslører for hvert nettsted du besøker. Mine HTTP-hoder Se alle HTTP-hodene nettleseren din sender med hver forespørsel — user agent, aksepterte språk, koding, informasjonskapsler og mer.

Lange lenker? Forkort dem gratis

Vai.la gjør enhver URL om til en kortlenke med klikkstatistikk, QR Code og din egen biolink.

Forkort en lenke Opprett gratis konto

Vai.la er ikke ansvarlig for hvordan verktøyene brukes, eller for beslutninger tatt på grunnlag av resultatene.