Søgemaskiner fungerer ved at crawle sider på Internettet med deres web crawlers, Googles webcrawlers hedder GoogleBot og der findes mange af dem, ikke kun en enkelt. Googlebot har travlt, den skal finde alle nye sider på Internettet og samtidig holde øje med sider der bliver opdateret med ny information.
Søgemaskinebotter navigerer Internettet ved at følge links på sider de crawler. Hver gang en søgemaskinebot falder over et link det ikke har set før, vil den prøve at følge det, for at finde ud af hvad der findes på den pågældende side. Når hjemmesideadressen først er registreret og crawlet, skal den efterfølgende indekseres.
Googlebot crawler
Det er vigtigt, at man forstår hvordan en webcrawler fungerer, hvis man ønsker at arbejde med og forbedre sine organiske placeringer i søgeresultaterne.
Hvad er crawling?
Når der indtastes en søgeforespørgsel i en søgemaskine, kunne man måske foranlediges til at tro, at søgemaskinen kiggede hele Internettet igennem for at levere svar.
Det gør de i princippet også, men de svar de leverer, kender de allerede til, de er allerede blevet crawlet og efterfølgende indekseret så de lynhurtigt kan gengives for søgemaskinens brugere.
Søgemaskiner er afhængige af store databaser over sider, og det er i de databaser du søger, ikke hele Internettet.
Databasen er fyldt op med sider, søgemaskinen allerede har godkendt som gode og brugbare svar, der kan bruges til at matche brugeres forespørgsler med.
Søgemaskinebotter (crawlere) har i princippet kun to opgaver de skal løse:
- Finde nye sider på Internettet der kan indekseres
- Udtrække information fra hver ny webside de finder.
Herefter analyseres indholdet og sorteres, for dernæst at lande i søgemaskinernes indeks.
Botterne tager dog forbehold for hvad der sendes til indeksering, eksempelvis vil sider der bryder loven ikke blive sendt videre til indeksering, det kunne eksempelvis være sådan noget som salg af våben, narkotika eller andet illegalt.
Vil du vide mere om hvad der sker, efter crawlerne har leveret informationen tilbage til Google og indekseringsprocessen startes? Så læs videre om indeksering, i denne artikel.
