Aneb způsob jakým loupají perníčky roboti nejznámějších vyhledávačů:
"GET /robots.txt HTTP/1.1" 404 1057 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
"GET /robots.txt HTTP/1.1" 404 1064 "-" "SeznamBot/2.0 (+http://fulltext.seznam.cz/)" "GET /robots.txt HTTP/1.0" 404 68225 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
"GET /robots.txt HTTP/1.1" 404 1097 "-" "holmes/3.12.4 (http://morfeo.centrum.cz/bot)"
"GET /robots.txt HTTP/1.1" 404 1057 "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)"
Všiměte si jak Yahoo a Google předstírají, že jsou Mozilla. Věřím, že jí to ve statistikách pomůže.
Yahoo svému robotovy říká Slurp crawler, což se mi podařilo přeložit jako chlemtající veš :)
2 komentáře:
Tak to Mozille pomůžou i všechny verze Internet Exploreru, že? :)
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506)
Tak toho jsem si všimnul a nechápu to.
BTW ještě tohle je dobrý: Lynx/2.8.6rel.4 libwww-FM/2.14 SSL-MM/1.4.1 OpenSSL/0.9.8e
Okomentovat