Søgerobot eller webcrawler ( eng. Web-crawler ; navnet " web -edderkop " findes også) er et program , der er en integreret del af en søgemaskine og er designet til at sortere gennem internetsider for at indtaste oplysninger om dem i søgemaskinedatabasen .
Ved handlingsprincippet ligner "edderkoppen" en almindelig browser . Den analyserer indholdet af siden, gemmer det i en speciel form på søgemaskineserveren og sender links til de følgende sider. Sidecrawl-rækkefølge, besøgshyppighed, sløjfebeskyttelse og kriterier for at fremhæve meningsfuld information bestemmes af informationshentningsalgoritmer . I de fleste tilfælde udføres overgangen fra en side til en anden ved hjælp af links på den første og de efterfølgende sider.
Søgemaskineejere begrænser ofte dybden af edderkoppens indtrængning på webstedet og den maksimale størrelse af den scannede tekst, så websteder, der er for store, bliver muligvis ikke fuldt ud indekseret af søgemaskinen. Ud over almindelige edderkopper er der såkaldte " spætter " - robotter, der "tapper" på et indekseret websted for at fastslå, om det er tilgængeligt.
Mange søgemaskiner giver også brugeren mulighed for selvstændigt at tilføje webstedet til køen til indeksering . Dette fremskynder normalt indekseringen af webstedet betydeligt, og i tilfælde, hvor ingen eksterne links fører til webstedet, viser det sig generelt at være næsten den eneste måde at indikere dets eksistens på. En anden måde at hurtigt indeksere et websted på er at tilføje webanalysesystemer , der tilhører søgetjenester, til webstedet. For eksempel, såsom Google Analytics , Yandex.Metrika og Рейтинг@Mail.ru .
Du kan begrænse webstedsindeksering ved hjælp af robots.txt -filen . Fuldstændig beskyttelse mod indeksering kan ydes af andre mekanismer, såsom at angive en adgangskode på siden eller at kræve, at du udfylder en registreringsformular, før du får adgang til indhold.