Nogle gange støder man på websites, der rangerer højt i Googles søgeresultater, men synes at have meget få eller ingen indgående links. I nogle sjældne tilfælde er det faktisk muligt at opnå en høj placering uden eller med meget få links, men i de fleste tilfælde er det snarere sådan, at en stor del af de indgående links, der peger på webstedet, er skjulte for dig.
Men hvorfor skulle de være skjulte? Sandsynligvis for at forhindre dig eller andre konkurrenter i at følge med i, hvordan de arbejder med links.
Der er faktisk blokeret for kendte linkcrawlers, så når du besøger domænet, kan du ikke se links fra de domæner. Du kan derfor ikke være sikker på, hvor mange skjulte links din konkurrent har. Det kan være, at du i dit linkanalyseværktøj ser 129 links, men der er faktisk 600 links, der peger på webstedet. Uden denne viden er det svært for dig at udvikle en strategi for at overgå din konkurrent i søgeresultaterne.
Indholdsfortegnelse
Ofte brugt til PBNs (Private Blog Networks)
Denne taktik anvendes især i forbindelse med PBNs, hvilket er private blognetværk. Dette er websteder, der er oprettet med det ene formål at linke til andre sider og normalt ikke tilbyder værdi til brugerne. Det er ikke altid ønskeligt at stå ved disse mindre attraktive links, derfor vælger man at skjule dem for kendte linktrackere som Ahrefs og SEMRush.
Dette opnås ved f.eks. at blokere dem i robots.txt-filen, hvilket forhindrer crawlere i at få adgang til webstedet og finde links på det. Dette betyder, at disse links heller ikke vises i SEMRush og Ahrefs, når du søger på dit domæne, fordi disse værktøjer ikke har adgang til siderne og derfor ikke har set dine links. Men Googlebot har stadig adgang, så du får stadig værdi fra disse links.
Får jeg stadig værdi fra mine links?
Ja, selvfølgelig. Hvis Googlebot ser dine links, tæller de i Google. Googlebot og linkcrawlers fra linkværktøjer har ikke noget med hinanden at gøre. Der er ingen konsekvenser i forhold til synlighed ved at blokere værktøjers adgang til dit websted.
Stopper jeg så ikke en stigning i min domæneautoritet?
Jo, i de værktøjer, du blokerer for, vil du ikke længere se linket, men din reelle autoritet vil selvfølgelig stige. Du vil dog ikke kunne se det i din analyse, fordi du har blokeret for de links, der udgør grundlaget for en eventuel stigning i din domæneautoritet. Hvis Ahrefs ikke ser et link, tæller det ikke med i deres beregning af DA og UA (Domain Authority og URL Rating), selvsagt.
Igen, værktøjernes crawlers har intet at gøre med Googlebot.
Hvordan blokerer man så?
Du skal tilgå din robots.txt-fil, som ligger i roden af de websteder, du linker fra. Her skal du tilføje følgende kommandoer:
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: Xenu
Disallow: /
Tak Henrik,
Det var en vigtig viden. Jeg har nogle gange undret mig over hvordan en konkurrent med forholdsvis få links kan rangere så højt. Det giver mening når man kan blokere specifikke botter og undlade andre. Så kan man jo selv benytte et værktøj der ikke blokeres, når man skal se sine egne links.
Hej Ejvind,
Velbekomme! I det store udland, er det faktisk meget udpræget, men det er ikke sværere end som så, at finde en crawler, der ikke er blokeret, du kan jo altid lige tjekke deres robots.txt og se hvad de har blokeret for. Det er dog også muligt at blokere på andre måder, men 19 ud af 20 tilfælde vil bruge Robots.txt til det. Du kan eksempelvis blokere for ahrefs og semrushs botters IP igennem htaccess eksempelvis, men hvis den skifter, skal du ind og opdatere IP.
Og ja, eneste udfordring er selvfølgelig, at du selv skal have adgang til de sider der linker, så du kan få adgang til Robots.txt, men der findes dem der har sådan netværk, hvor det allerede er sat op således.
Tak Henrik,
Tak for en yderst spændende artikel. Det giver rigtig god mening og ny forklaring på sammenhæng mellen rank i forhold til antal og værdi af backlinks, som jeg ofte har undret mig over.
Hej Jan,
Tak fordi du læser med. Der er rigtigt mange, der skjuler deres links for linktrackers, særligt inden for affiliate-branchen. Det er klart mindre udbredt, inden for e-commerce. Det er også altid muligt, at finde et andet værktøj, der ikke er blokeret for, og så tage et kig, de fleste blokerer kun for de gængse linktrackers.