Robots.txt
Crawler kontrol • Crawl budget optimering • Sikkerhed • Bedste praksis
Hurtig definition:
Robots.txt er en tekstfil der kontrollerer hvilke dele af dit website søgemaskine crawlere må besøge - vigtig for crawl budget optimering og crawler styring.
Hvad er robots.txt?
robots.txt er en lille tekstfil, der ligger i roden af et website og fortæller søgemaskinernes crawlere, hvad de må og ikke må tilgå. Den bruges som en form for adgangskontrol, men kun for crawl – ikke for indeksering.
⚠️ Vigtig forskel: Robots.txt kontrollerer crawling, ikke indeksering - brug noindex til at forhindre indeksering
Hvad gør robots.txt?
Den instruerer søgemaskinens bot i, hvilke områder af websitet den må crawle. Den blokerer altså ikke for indeksering i sig selv, men den forhindrer botten i at besøge visse sider eller mapper. Hvis en side er linket fra andre steder på nettet, kan den stadig indekseres – også selvom den er blokeret i robots.txt.
User-agent: *
Disallow: /private/Ovenstående blokerer alle bots fra at crawle mappen /private/, men det forhindrer ikke, at sider i mappen bliver indekseret, hvis Google kender dem fra links.
Hvornår bruger man den?
- — Når man vil undgå crawl af filtre, kalendersider, interne søgninger eller lignende
- — Når man vil spare crawlbudget
- — Når man vil holde ikke-værdifuldt indhold væk fra Googles fokus
Men den må aldrig bruges til at skjule sider, du ikke vil have indekseret – til det bruger du noindex.
Ofte stillede spørgsmål om robots.txt
Kan robots.txt forhindre at mine sider bliver indekseret?
Nej, robots.txt kontrollerer kun crawling, ikke indeksering. Hvis en side er linket fra andre steder på internettet, kan Google stadig indeksere den selvom den er blokeret i robots.txt. For at forhindre indeksering skal du bruge noindex meta tag eller HTTP header.
Skal jeg inkludere CSS og JavaScript filer i robots.txt?
Nej, du skal IKKE blokere CSS, JavaScript eller billedfiler. Google har brug for adgang til disse ressourcer for at se hvordan din side ser ud og fungerer. Blokering af disse kan påvirke dine rankings negativt.
Hvor skal robots.txt filen placeres?
Robots.txt skal ligge i root directory af dit domæne, tilgængelig via https://ditwebsite.dk/robots.txt. Den kan ikke placeres i undermapper eller have et andet navn. Hver subdomæne skal have sin egen robots.txt fil.
Kan jeg have forskellige regler for forskellige søgemaskiner?
Ja, du kan specifiere forskellige User-agent direktiver for hver søgemaskine. For eksempel kan du have forskellige regler for Googlebot, Bingbot, og andre crawlere. Brug User-agent: * for at gælde for alle crawlere.
Er robots.txt påkrævet for alle websites?
Nej, robots.txt er ikke påkrævet. Hvis du ikke har en robots.txt fil, kan crawlere tilgå hele dit website. Men det anbefales at have en, selvom det kun indeholder sitemap reference, for at have kontrol over crawling.
Kan robots.txt påvirke mit crawl budget?
Ja, en veloptimeret robots.txt kan hjælpe med at dirigere crawl budget mod dit vigtigste indhold ved at blokere lavværdi sider som filtre, søgningsresultater og dubletter. Dette er særligt vigtigt for store websites.
Hvad sker der hvis min robots.txt har fejl?
Syntaks fejl kan føre til at hele filen ignoreres, eller at reglerne ikke fungerer som forventet. Brug Google Search Console's robots.txt tester til at validere din fil og test specifikke URLs for at sikre korrekt funktionalitet.
Kan jeg se hvem der tilgår min robots.txt fil?
Ja, du kan se adgang til robots.txt i dine server logs. Dette kan give indsigt i hvilke crawlere der besøger dit site og hvor ofte de checker for opdateringer til din robots.txt fil.
⚡ Hurtig reference
Brug for hjælp til robots.txt og teknisk SEO optimering?
Fra robots.txt audit til crawl budget optimering og teknisk SEO implementering - få professionel hjælp til at optimere dit website for søgemaskine crawlere og maksimere SEO performance.