Googlebot er en lille bot, der crawler internettet. Googlebot følger links på hjemmesider og finder derigennem frem til nye sider og hjemmesider på internettet, der kan crawles og indekseres. Googlebot er også den bot, der finder nyt og opdateret indhold og foreslår, hvad der skal inkluderes i Googles store indeks.

Googles indeks er det, du som bruger af Google søger i, når du skal finde informationer på internettet. Google bruger enorme ressourcer på at sende deres botter rundt omkring i alle nettets afkroge for at søge, identificere og indeksere.

Googlebot er Googles webcrawler eller robot, om man vil.

Som tidligere nævnt følger Googlebot alle links, den falder over, når den besøger en hjemmeside. Herigennem finder den vej til nye sider og får genopfrisket, hvad der er på sider, som den måske allerede har besøgt før. Det er sådan, at Google opfanger, når en sides indhold har ændret sig, og dette er en nødvendig proces for altid at have en opdateret database, hvor brugere kan finde det nyeste indhold.

Google kravler dit website, ved at finde links til det på andre websites

Googlebot besøger ikke hvert link, den falder over, med det samme. Alle links, Googlebot ikke tidligere har set, bliver lagt i en liste over sider, som Googlebot på et senere tidspunkt skal kigge nærmere på og vurdere, hvorvidt disse skal inkluderes i deres indeks.

Googlebot tjekker, som sagt, også løbende sider, den allerede har besøgt før. Dette gøres for at verificere, at adressen stadig fungerer, og at indholdet stadig er tilgængeligt. Google ønsker ikke at linke til sider, der ikke længere eksisterer, da det skaber en dårlig brugeroplevelse for deres brugere.

Netop derfor er Google meget opmærksom på at gencrawle sider så ofte som muligt, særligt sider, de har vurderet, ofte ændrer deres indhold.

Googlebot bruger den dag i dag også kunstig intelligens til at sortere og indeksere hjemmesider. Googles kunstige intelligens hedder RankBrain, den kan du læse meget mere om i følgende artikel.

Hvis du vil finde ud af, hvor ofte Googlebot besøger din hjemmeside, findes der en lang række metoder til netop dette. En af de mest enkle metoder er at besøge Googles Search Console og gå til crawl-sektionen. Herunder kan du finde detaljeret statistik over, hvor ofte Googlebot besøger dine sider, samt hvilke sider de har kigget på og hvornår. Her finder du også oplysninger om indekseringstilstand.

Du kan også kigge i din serverlog og se efter Googlebots user-agent. Det kan være svært at genkende Googlebot på IP-adressen, da denne er dynamisk og derfor ofte skifter. Men ved at køre et omvendt opslag kan du se, om user-agenten svarer korrekt. Du skal dog være opmærksom på, at det er nemt at udgive sig for at være Googlebot.

Googlebot findes i mange variationer og findes sandsynligvis også i et meget, meget stort antal – husk på, at de crawler og kigger på alt, der er i Googles indeks, hele tiden.

• -Googlebot Desktop (Desktop-versionen af Googlebot, crawler og indekserer sider)
• -Googlebot mobile (Mobilversionen af Googlebot, det er denne bot der crawler stort set alle hjemmesider den dag i dag, efter Google gik over til Mobile First indeksering)
• -Googlebot Video (Googles videobot)
• -Googlebot News (Google News bot)
• -Googlebot images (Googles billedsøgningsbot)

Googlebot user agent strenge

Crawler budget og optimering

Robots.txt og crawler kontrol

Server belastning og hastigheds begrænsning

Almindelige Googlebot problemer

Overvågning og analyse værktøjer