Roboty googla'a (Googlebot)

Google informuje że jego boty (crawlery) podczas pobierania strony przedstawiają się jak na poniższej liście. Jeśli chcesz sprawdzić kto pobiera Twoją stronę możesz to zrobić czytając logi serwera (apache, nginx ...).
Może się tak zdarzyć że ktoś się będzie podszywał pod bot'a google i będzie się przedstawiał identycznie jak Bot. Jak to zweryfikować można przeczytać tutaj: Roboty googla'a jak je zweryfikować

CrawlerUser-agentsHTTP(S) requests user-agent
GooglebotGooglebotMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
lub
(rzadko stosowane): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot NewsGooglebot-News
(Googlebot)
Googlebot-News
Googlebot ImagesGooglebot-Image
(Googlebot)
Googlebot-Image/1.0
Googlebot VideoGooglebot-Video
(Googlebot)
Googlebot-Video/1.0
Google MobileGooglebot-Mobile[różne typy urządzeń mobilnych] (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Google SmartphoneGooglebotMozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSenseMediapartners-Google
lub
Mediapartners
(Googlebot)
[różne typy urządzeń mobilnych] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSenseMediapartners-Google
Mediapartners
(Googlebot)
Mediapartners-Google
Google AdsBot - Kontrola jakości strony docelowejAdsBot-GoogleAdsBot-Google (+http://www.google.com/adsbot.html)