Har du svært ved at vurdere hvilke af ovenstående tags, attributter og kommandoer du skal benytte på dit site, når du skal lukke af for overflødige sider eller fjerne duplicate content? Så læs med her og find ud af, hvilke du skal bruge hvor.

Nofollow

Nofollow blev udarbejdet i 2005 i et samarbejde mellem Yahoo, MSN og Bing. Formålet var at komme det stigende problem med kommentarspam til livs.

Nofollow er en HTML-attribut, der instruerer de fleste søgemaskiner i ikke at videreføre en stemme og dermed værdi videre til det site, der linkes til.

Et nofollow-link er derfor ikke ensbetydende med at den side, der linkes til, ikke bliver crawlet. Google har en bot der bruges udelukkende til dette formål. Med tagget fortæller du altså søgemaskinerne at du ikke stoler på, eller kan stå inde for, det der bliver linket til.

Det er også derfor, at det er meget dumt at bruge nofollow internt på sit eget site. Det er et yderst bizart signal at sende til søgemaskinerne, at man har indhold på sit eget website, som man ikke står inde for. Så lad være med det.

Nofollow indsætter man ved at tilføje rel=”nofollow” i et aktivt link. I de fleste CMS kan det også slås til i din WYSIWYG-editor, når du indsætter et aktivt link.

<a href="http://www.fiktivside.dk/side-du-ikke-vil-vise" rel="nofollow"></a>

Men nofollow kan også implementeres gennem et meta-tag. Du kan se et eksempel herpå nedenfor. Og det var faktisk den oprindelige form af nofollow, men da man på denne måde gav en hel side nofollow, var den ikke brugbar på samme måde som en attribut der kunne tilføjes individuelle links.

<meta name="robots"></a> content="nofollow"></a>

Disallow: (Robots.txt)

Robots.txt er dit sites vogter. Den befinder sig i roden af dit website og dens direktiver overtrumfer alle andre. Disallow skal du bruge i tilfælde af at der er tale om hele mapper på dit website, der skal skærmes af. Og især hvis de ikke tidligere har været indekseret.

Når du laver en disallow i din robots.txt, fortæller du søgemaskinerne at de ikke må crawle den pågældende side eller en hel mappe, du kan endda også spærre af for hele dit website, men det betyder ikke at siden ikke bliver medtaget i indekset. Hvis dine sider dukker op i Google’s indeks, kan du bruge Google Webmaster Tools til at bede om at få fjernet siden fra indeks igen, hvis du da insisterer på at bruge robots.txt til formålet.

Kombinerer du både disallow og noindex, vil noindex blive ignoreret, da din disallow-kommando fortæller søgebotterne, at de ikke må kigge på siden. Det er derfor ligegyldigt at benytte disse to tags kombineret. Hvis du vil være sikker på at din URL ikke bliver taget med i søgemaskinernes index, er det altså noindex du skal bruge og ikke andet.

Ved brug af disallow på allerede indekserede sider, og for eksempel sider der har indgående links, mister du den værdi, der ellers kunne have været ført videre til dine andre sider på dit website. Derfor anbefaler jeg klart at du benytter dig af noindex i stedet når det er muligt. Linker du internt til de sider der er disallowed i din robots.txt, spilder du din interne Pagerank.

Eksempler på disallow-kommandoer

Disallow: /mappe-vi-ikke-vil-vise/
Disallow: /fil-vi-ikke-vil-vise.html
Allow: / mappe-vi-ikke-vil-vise/enkelt-fil-vi-gerne-vil-vise-fra-mappen.html

(Allow Understøttes ikke af alle søgemaskiner, men understøttes af Google)

Noindex

Med et noindex-tag fortæller du søgemaskinerne, at den pågældende side ikke skal indekseres i søgeresultaterne. Er der ikke tilføjet et nofollow til tagget, vil søgemaskinerne stadig følge alle links på siderne. Siden bliver altså læst af søgemaskinerne, men ikke taget med i indeks. Ønsker du ikke at søgemaskinerne følger links på siden, skal du tilføje nofollow til din kommando.

<meta name="robots"></a> content="nofollow"></a>

Indekser ikke, men følg links

<meta name="robots"></a> content="noindex, nofollow"></a>

Indekser ikke og følg ikke links.

Fordelen ved, ikke at benytte nofollow i sin noindex er, at Pagerank kan flyde igennem et noindex-tag og videre til de sider der linkes til. Det kan den ikke når du også benytter nofollow-attributten.

Canonical tag

Canonical tag benyttes til at angive en primær side, når der forefindes flere sider med identisk indhold. Har du fem versioner af den samme side, indsætter du et canonical tag på de fire der ikke er din primære side. Disse skal nu pege på den primære side med dit canonical tag, hvorefter søgemaskinerne ved, at det er denne URL, der er den rigtige.

Men canonical tag er kun en vejledning og det er derfor ikke unormalt at finde de sider i indeks, som bærer et canonical tag. Derfor er det også sandsynligt at du mister en smule af din interne Pagerank ved at benytte canonical tag frem for noindex.

Eksempel på canonical tag

<link rel="canonical" href="http://www.fiktivside.dk/bedste-side" />

Indsættes i header

Prioritering af metoder

1. Noindex tag, uden nofollow attribut
2. Canonical tag
3. Robots.txt disallow command – medmindre hele mapper skal skærmes af, i så fald prioriteres robots.txt over canonical og noindex.
4. Nofollow – den sidste her, anbefaler jeg faktisk slet ikke at du bruger.