Marcin Mazureknarzędzia online · artykuły · księgarniaRSS

Roboty googla'a (Googlebot)

Google informuje że jego boty (crawlery) podczas pobierania strony przedstawiają się jak na poniższej liście. Jeśli chcesz sprawdzić kto pobiera Twoją stronę możesz to zrobić czytając logi serwera (apache, nginx ...).
Może się tak zdarzyć że ktoś się będzie podszywał pod bot'a google i będzie się przedstawiał identycznie jak Bot. Jak to zweryfikować można przeczytać tutaj: Roboty googla'a jak je zweryfikować

Crawler User-agents HTTP(S) requests user-agent
Googlebot Googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
lub
(rzadko stosowane): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot News Googlebot-News
(Googlebot)		 Googlebot-News
Googlebot Images Googlebot-Image
(Googlebot)		 Googlebot-Image/1.0
Googlebot Video Googlebot-Video
(Googlebot)		 Googlebot-Video/1.0
Google Mobile Googlebot-Mobile [różne typy urządzeń mobilnych] (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Google Smartphone Googlebot Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSense Mediapartners-Google
lub
Mediapartners
(Googlebot)		 [różne typy urządzeń mobilnych] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSense Mediapartners-Google
Mediapartners
(Googlebot)		 Mediapartners-Google
Google AdsBot - Kontrola jakości strony docelowej AdsBot-Google AdsBot-Google (+http://www.google.com/adsbot.html)

Zobacz również