Hvad er robots.txt?

Robots.txt er en tekstfil, der ligger i roden af din hjemmeside (fx eksempel.dk/robots.txt). Den fortæller søgemaskiner som Google og Bing, hvilke sider de må og ikke må crawle. En korrekt konfigureret robots.txt er et vigtigt element i din tekniske SEO.

Vigtige direktiver

User-agent: Angiver hvilken crawler reglen gælder for. "*" betyder alle crawlere.
Disallow: Blokerer crawling af den angivne sti.
Allow: Tillader crawling af den angivne sti (overskriver Disallow).
Sitemap: Peger crawlere mod dit sitemap for bedre opdagelse af sider.

Almindelige fejl med robots.txt

En forkert robots.txt kan have store konsekvenser for din synlighed i søgeresultaterne:

Blokering af vigtige sider: Hvis du ved et uheld blokerer dine hovedsider, kan Google ikke indexere dem.
Blokering af CSS/JS: Google skal kunne se dine stylesheets og scripts for at rendere din side korrekt.
For bred Disallow: "Disallow: /" blokerer hele dit site for den angivne crawler.
Manglende Sitemap-reference: Tilføj altid en Sitemap-linje for at hjælpe crawlere med at finde dine sider.

AI-crawlere og robots.txt

Med fremkomsten af AI-søgemaskiner og sprogmodeller er det blevet relevant at styre adgangen for crawlere som GPTBot (OpenAI), ClaudeBot (Anthropic) og Google-Extended. Du kan bruge robots.txt til at tillade eller blokere disse crawlere individuelt, så du har kontrol over, om dit indhold bruges til AI-træning.

Har du brug for hjælp med teknisk SEO?

En korrekt robots.txt er kun én del af den tekniske SEO-opsætning. For en komplet gennemgang af hastighed, schema markup, redirects og crawling, kan du bestille en gratis SEO-analyse eller kontakte os direkte.