| Googlebot | |
|---|---|
| Type | Søg robot |
| Forfatter | |
| Udvikler | |
| Internet side | google.com/support/webma... |
Googlebot er Googles webcrawler , der bruges til at crawle world wide web og udfylde Googles søgeindeks . Robotten begynder at crawle hvert enkelt websted ved at få en liste over webside-URL'er genereret fra tidligere sessioner og genopfylder den med data fra sitemapfiler; mens robotten gennemser siderne, leder den efter links (SRC og HREF) og føjer dem til listen over sider, der skal crawles.
Webmastere kan styre robotten ved hjælp af en kommando i robots.txt -filen eller et metatag <meta name="Googlebot" content="nofollow" />; Google i listen over deres webmasterværktøjer gør det muligt at kontrollere "visionen" af webstedet ved hjælp af robotten. Bots IP-adresser ændres fra tid til anden.
Ved gennemgang angiver Googlebot brugeragenten: