Har du svært ved at vurdere hvilke af ovenstående tags, attributter og kommandoer du skal benytte på dit site, når du skal lukke af for overflødige sider eller fjerne duplicate content? Så læs med her og find ud af, hvilke du skal bruge hvor.
Indholdsfortegnelse
Nofollow
Nofollow blev udarbejdet i 2005 i et samarbejde mellem Yahoo, MSN og Bing. Formålet var at komme det stigende problem med kommentarspam til livs.
Nofollow er en HTML-attribut, der instruerer de fleste søgemaskiner i ikke at videreføre en stemme og dermed værdi videre til det site, der linkes til.
Et nofollow-link er derfor ikke ensbetydende med at den side, der linkes til, ikke bliver crawlet. Google har en bot der bruges udelukkende til dette formål. Med tagget fortæller du altså søgemaskinerne at du ikke stoler på, eller kan stå inde for, det der bliver linket til.
Det er også derfor, at det er meget dumt at bruge nofollow internt på sit eget site. Det er et yderst bizart signal at sende til søgemaskinerne, at man har indhold på sit eget website, som man ikke står inde for. Så lad være med det.
Nofollow indsætter man ved at tilføje rel=”nofollow” i et aktivt link. I de fleste CMS kan det også slås til i din WYSIWYG-editor, når du indsætter et aktivt link.
<a href="http://www.fiktivside.dk/side-du-ikke-vil-vise" rel="nofollow"></a>
Men nofollow kan også implementeres gennem et meta-tag. Du kan se et eksempel herpå nedenfor. Og det var faktisk den oprindelige form af nofollow, men da man på denne måde gav en hel side nofollow, var den ikke brugbar på samme måde som en attribut der kunne tilføjes individuelle links.
<meta name="robots"></a> content="nofollow"></a>
Disallow: (Robots.txt)
Robots.txt er dit sites vogter. Den befinder sig i roden af dit website og dens direktiver overtrumfer alle andre. Disallow skal du bruge i tilfælde af at der er tale om hele mapper på dit website, der skal skærmes af. Og især hvis de ikke tidligere har været indekseret.
Når du laver en disallow i din robots.txt, fortæller du søgemaskinerne at de ikke må crawle den pågældende side eller en hel mappe, du kan endda også spærre af for hele dit website, men det betyder ikke at siden ikke bliver medtaget i indekset. Hvis dine sider dukker op i Google’s indeks, kan du bruge Google Webmaster Tools til at bede om at få fjernet siden fra indeks igen, hvis du da insisterer på at bruge robots.txt til formålet.
Kombinerer du både disallow og noindex, vil noindex blive ignoreret, da din disallow-kommando fortæller søgebotterne, at de ikke må kigge på siden. Det er derfor ligegyldigt at benytte disse to tags kombineret. Hvis du vil være sikker på at din URL ikke bliver taget med i søgemaskinernes index, er det altså noindex du skal bruge og ikke andet.
Ved brug af disallow på allerede indekserede sider, og for eksempel sider der har indgående links, mister du den værdi, der ellers kunne have været ført videre til dine andre sider på dit website. Derfor anbefaler jeg klart at du benytter dig af noindex i stedet når det er muligt. Linker du internt til de sider der er disallowed i din robots.txt, spilder du din interne Pagerank.
Eksempler på disallow-kommandoer
Disallow: /mappe-vi-ikke-vil-vise/ Disallow: /fil-vi-ikke-vil-vise.html Allow: / mappe-vi-ikke-vil-vise/enkelt-fil-vi-gerne-vil-vise-fra-mappen.html
(Allow Understøttes ikke af alle søgemaskiner, men understøttes af Google)
Noindex
Med et noindex-tag fortæller du søgemaskinerne, at den pågældende side ikke skal indekseres i søgeresultaterne. Er der ikke tilføjet et nofollow til tagget, vil søgemaskinerne stadig følge alle links på siderne. Siden bliver altså læst af søgemaskinerne, men ikke taget med i indeks. Ønsker du ikke at søgemaskinerne følger links på siden, skal du tilføje nofollow til din kommando.
<meta name="robots"></a> content="nofollow"></a>
Indekser ikke, men følg links
<meta name="robots"></a> content="noindex, nofollow"></a>
Indekser ikke og følg ikke links.
Fordelen ved, ikke at benytte nofollow i sin noindex er, at Pagerank kan flyde igennem et noindex-tag og videre til de sider der linkes til. Det kan den ikke når du også benytter nofollow-attributten.
Canonical tag
Canonical tag benyttes til at angive en primær side, når der forefindes flere sider med identisk indhold. Har du fem versioner af den samme side, indsætter du et canonical tag på de fire der ikke er din primære side. Disse skal nu pege på den primære side med dit canonical tag, hvorefter søgemaskinerne ved, at det er denne URL, der er den rigtige.
Men canonical tag er kun en vejledning og det er derfor ikke unormalt at finde de sider i indeks, som bærer et canonical tag. Derfor er det også sandsynligt at du mister en smule af din interne Pagerank ved at benytte canonical tag frem for noindex.
Eksempel på canonical tag
<link rel="canonical" href="http://www.fiktivside.dk/bedste-side" />
Indsættes i header
Prioritering af metoder
1. Noindex tag, uden nofollow attribut
2. Canonical tag
3. Robots.txt disallow command – medmindre hele mapper skal skærmes af, i så fald prioriteres robots.txt over canonical og noindex.
4. Nofollow – den sidste her, anbefaler jeg faktisk slet ikke at du bruger.
En fin gennemgang som kommer omkring det meste der at sige :) Tit bliver de 4 forskellige metoder refereret til uafhængigt, så fint med en samlet oversigt her.
Tak
Virkelig godt skrevet, det er jo efterhånden nogen ret omdiskuteret emner, men der var da alligevel god dybde på og noget man ikke havde læst før.
Super indlæg Henrik.
Hvad er din holdning til brugen af canonical tagget? Jeg synes der har været meget snak frem og tilbage, om det rent faktisk virker efter hensigten.
Hej Henrik,
Tak for det! Jeg benytter mig kun af canonical tagget hvis et noindex ikke er muligt. Jeg vil også hellere benytte mig af Disallow, hvis siderne ikke allerede er indekseret og hvis det ikke indebærer at der er interne links, der linker her til, som ikke kan fjernes – i så tilfælde ville jeg vælge canonical i stedet.
Google har flere gange udtalt at det kun er en anbefaling til søgemaskinerne og jeg er ikke meget for tiltag, hvor man kun anbefaler. Der skal dikteres så vidt muligt.
Tak for uddybende svar :-)
Helt enig i at anbefalinger, specielt fra Googles side, skal tages med et gran salt. De har til tider deres egen dagsorden med tingene, og det er ikke altid i brugernes bedste interesse.
Hej Henrik,
Hvad er dine erfaringer med at sætte noindex på sider der allerede er indkseret? Bliver de fjernet fra indeks igen?
/Brian
Hej Henrik
Rigtig godt indlæg, der giver et fint overblik over mulighederne. Jeg har dog et spørgsmål omkring robots.txt. Google skriver i en artikel om duplikeret indhold (https://support.google.com/webmasters/bin/answer.py?hl=da&answer=66359), at de ikke anbefaler at blokere crawleradgang uanset om det gøres via robots.txt eller andre metoder.
Som jeg ser det, skal denne ‘anbefaling’ tages med et gran salt. Metoden kan stadig bruges i de tilfælde, hvor noindex, canonical eller 301 ikke er en mulighed, og hvor der er problemer med duplicate content på tværs af domæner.
Hvad er dit syn på deres anbefaling?
Hej Nikolaj,
Google vil gerne kunne se al data, når vi bruger robots, nægter vi dem direkte adgang. Det er derfor klart min tanke, at det bare skyldes førnævnte og at robots.txt er en ganske valid metode. Det virker i hvert fald, ingen tvivl om det. Derudover vil jeg stadig altid bruge robots.txt, når et nyt site går i luften, til at afgrænse irrelevante folders.
Personligt har jeg haft gode erfaringer med at bruge canonical-tagget til sider med sorteringsfunktioner og lignende. Det er ikke den kønneste løsning, men når kunden har brugt mange penge på at få udviklet sorteringsfunktionalitet der laver dynamiske URL’s, kan det redde meget.
Hej Christoffer, det kan du også sagtens, men jeg vil klart anbefale dig at bruge Noindex follow, når du har mulighed for det, jvf. ovenstående uddybning.
Jeg skal indrømme vi primært har benyttet canonical url’s på vores websites, fordi vi tænkte at SEO-juicen blev ført videre på en bedre måde på den måde.. Så denne forklaring er jeg glad for.
I øvrigt, kan canonical url’s bruges cross-domain?
Hej Mcoroklo,
Med canonical har du flere sider der deles om den totale værdi der er til rådighed, da disse stadig eksisterer i index. Bruger du noindex, horder den pågældende side ingen værdi.
Ja, du kan bruge canonical cross domain, men du skal bruge 301 hvis du kan. Tjek Googles udsagn om selvsamme: “Use the cross-domain rel=”canonical” link element
There are situations where it’s not easily possible to set up redirects. This could be the case when you need to move your website from a server that does not feature server-side redirects. In a situation like this, you can use the rel=”canonical” link element across domains to specify the exact URL of whichever domain is preferred for indexing. While the rel=”canonical” link element is seen as a hint and not an absolute directive, we do try to follow it where possible. “
Hej Henrik,
Det er måske lidt sent at kommentere på denne, men jeg prøver.
Jeg blev bare lidt stødt over din udlægning “Det er et yderst bizart signal at sende til søgemaskinerne, at man har indhold på sit eget website, som man ikke står inde for.”
Da jeg nok er lidt uenig (måske udvidende), men jeg har ofte brugt dette tag (altså ugc) ikke fordi jeg ikke kan stå indenfor en (under)side, men simpelthen fordi den underside som det jo typisk er, ikke er interessant, f.eks. firma regler eller en kontakt side, som man ikke synes er relevant at få indekseret.
Er det en betragtning som er helt skudt forbi eller er der en anden bedre approach?
Og nu jeg er her, har du så et bud på om det overhovedet giver mening at bruge “index, follow” idag, er det ikke bare noget de(botterne) gør, hvis ikke andet er defineret?
Tak for super site btw. :)
/Peter
Hej Peter,
Så bør du i stedet benytte noindex, follow. ugc tagget betyder netop at du ikke kan stå inde for det der linkes til, derfor giver det ingen mening at bruge dette i sådan et tilfælde.
Nej, index, follow er det samme som ikke at have noget stående, botterne indekseret og følger med mindre andet er defineret.
Glad for at høre du kan bruge hvad du finder her :-)
Hej Henrik,
Jeg er også lidt sent på den, men super godt indlæg!
Jeg skal lige være sikker på jeg har forstået det rigtigt. Hvis nu at vi har tre steder på vores webshop hvor indholdet er præcist det samme, skal man så i stedet for at benytte index, ugc benytte noindex, follow?
MVH Michella
Hej Michella,
Mange tak og Lige præcis!
Hej Henrik,
Jeg kunne godt tænke mig at høre din vurdering af et oprør mod findeopskrifter.dk’s ugc linkmetode, som lige nu er i gang i madblogland (hvor jeg befinder mig :) ).
Findeopskrifter.dk er en side, som henter rss feeds fra madbloggere, samler dem, lader folk søge i dem og linker tilbage til madbloggerne. Nu er der nogen, der har opdaget, at findeopskrifter.dk bruger ugc, når de linker tilbage til madbloggerne, hvilket med tiden, siges det, vil give findeopskrifter.dk en bedre placering i søgemaskinerne end madbloggerne selv. Jeg får en del trafik fra findeopskrifter-siden, men det er klart, at hvis linksene til min blog på findeopskrifter samtidig er med til at mistænkeliggøre mig over for søgemaskinerne, bliver jeg sur. Men er det så entydigt?
Mange hilsner Solvej, smagdigfrem.dk
Hej Solvej,
De tager helt konkret dine placeringer, findopskrifter.dk er et langt mere autoritært site. Alle madblogs linker jo stort set, hvorfor de er den ultimative ressource.
Så ja, det går udover dine rankings.
Tak for det, Henrik.
Hej,
Jeg takker for et let forståeligt indlæg!
Hvad er din anbefaling som producent? Hvordan kan man beskytte sit indhold hvis man stadig vil have det indekseret med værdi? Og her tænker jeg produkttekster og andet værdifuldt indhold.
Skal man lave noindex på det hele, og så arbejde på andre landingssider uden noindex?
I filosofien om at man ikke skal give Google valget, skal man så alligevel satse på at man bliver set som det autoritære site? Evt. Bare sørge for at brandet bliver nævnt i alt tekst, så man både for mentions og autoriteten pga URL.?
Eller er den bedste løsning at fatte knoglen, at forklare at det er skadeligt for begge parter?
Hej Henrik,
Er det stadig denne rækkefølge der gælder i dag? Altså vil du stadig bruge noindex før canonical, hvis du fx har flere URL-er der viser til samme indhold?
Hej Henrik
Fedt indlæg og meget detaljeret : )
Men vi har et spørgsmål? Vi er lige blevet færdige med Kontorstole-Engros.dk som er målrettet forhandlere og denne side er en tro kopi af Dankontorstole.dk bortset fra forsiden. Denne forside er helt unik og det er UDELUKKENDE den vi vil have indekseret da alle andre sider vil skabe DC.
Hvordan gør man det bedst muligt ?
Hej Thomas,
Tak skal du have! Glad for, at du kunne lide det.
I påsætter noindex på alle sider, på nær forsiden :-)