Googlebot

Googlebot er en lille bot, der crawler Internettet. Googlebot følger links på hjemmesider og finder derigennem frem til nye sider og hjemmesider på Internettet der kan crawles og indekseres. Googlebot er også den bot, der finder nyt og opdateret indhold og foreslår hvad der skal inkluderes til Googles store indeks. Googles indeks, er det du som bruger af Google søger i, når du skal søge informationer på Internettet. Google bruger enorme ressourcer på at sende deres botter rundt omkring i alle nettets afkroge, for at søge, identificere og indeksere. Googlebot er Googles web crawler eller robot om man vil.

Hvordan virker Googlebot?
Som tidligere nævnt, følger Googlebot alle links den falder over, når den besøger en hjemmeside, herigennem finder den vej til nye sider og eller får genopfrisket, hvad der er på sider, som den måske allerede har besøgt før, det er sådan, at Google opfanger når en sides indhold har ændret sig og dette er en nødvendig proces, for altid at have en opdateret database, hvor brugere kan finde det nyeste indhold.

Google kravler dit website, ved at finde links til det på andre websites

Google kravler dit website, ved at finde links til det på andre websites

Googlebot bruger også sitemaps til at identificere sider den skal besøge, sitemaps er noget mange webmastere gør sig brug af, men de er ikke nødvendige, for at Googlebot kan finde og indeksere sider, de kan dog være en stor hjælp for Googlebot og derfor anbefales det generelt altid, på særligt større websites, at gøre brug af sitemaps i XML-format, der automatisk opdateres (dynamisk).

Googlebot besøger ikke hvert link den falder over, med det samme, alle links Googlebot ikke tidligere har set, bliver lagt i en liste, over sider som Googlebot på et senere tidspunkt skal kigge nærmere på og vurdere hvorvidt disse skal inkluderes i deres indeks

Googlebot tjekker som sagt også løbende sider den allerede har besøgt før, dette for at verificere at adressen stadig fungerer og at indholdet stadig er tilgængeligt. Google ønsker ikke at linke til sider, der ikke længere eksisterer, da det skaber en dårlig brugeroplevelse for deres brugere. Netop derfor, er Google meget opmærksom på at gencrawle sider så ofte som muligt, særligt sider, de har vurderet, ofte ændrer deres indhold.

Googlebot bruger den dag i dag også kunstig intelligens, til at sortere og indeksere hjemmesider. Googles kunstige intelligens hedder RankBrain, den kan du læse meget mere om i følgende artikel.

Hvor ofte besøger Googlebot din hjemmeside?
Hvis du vil finde ud af hvor ofte Googlebot besøger din hjemmeside, findes der en lang række metoder til netop dette. En af de mest simple versioner er at besøge Googles Search Console og gå til crawl-sektionen, herunder kan du finde detaljeret statistik over hvor ofte Googlebot besøger dine sider og hvilke sider de har kigget på og hvornår, her finder du også oplysninger om indekseringstilstand.

Du kan også blot kigge i din serverlog og se efter Googlebots user-agent. Det kan være svært at genkende Googlebot på IP-adressen, da denne er dynamisk og derfor ofte skifter, men ved at køre en reverse lookup, kan du se om user-agenten svarer korrekt, du skal dog være opmærksom på, at det er nemt at udgive sig for at være Googlebot.

De forskellige Googlebotter
Googlebot findes i mange variationer og findes sandsynligvis også i et meget, meget stort antal – husk på, at de crawler og kigger på alt, der er i Googles indeks, hele tiden.

  • Googlebot Desktop (Desktop-versionen af Googlebot, crawler og indekserer sider)
  • Googlebot mobile (Mobilversionen af Googlebot, det er denne bot der crawler stort set alle hjemmesider den dag i dag, efter Google gik over til Mobile First indeksering)
  • Googlebot Video (Googles videobot)
  • Googlebot News (Google News bot)
  • Googlebot images (Googles billedsøgningsbot)