neděle 7. prosince 2008

Kdopak nám to loupe perníček

Aneb způsob jakým loupají perníčky roboti nejznámějších vyhledávačů:

"GET /robots.txt HTTP/1.1" 404 1057 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

"GET /robots.txt HTTP/1.1" 404 1064 "-" "SeznamBot/2.0 (+http://fulltext.seznam.cz/)"
"GET /robots.txt HTTP/1.0" 404 68225 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
"GET /robots.txt HTTP/1.1" 404 1097 "-" "holmes/3.12.4 (http://morfeo.centrum.cz/bot)"
"GET /robots.txt HTTP/1.1" 404 1057 "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)"

Všiměte si jak Yahoo a Google předstírají, že jsou Mozilla. Věřím, že jí to ve statistikách pomůže.
Yahoo svému robotovy říká Slurp crawler, což se mi podařilo přeložit jako chlemtající veš :)

2 komentáře:

martiner řekl(a)...

Tak to Mozille pomůžou i všechny verze Internet Exploreru, že? :)

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; .NET CLR 3.0.04506)

pow řekl(a)...

Tak toho jsem si všimnul a nechápu to.
BTW ještě tohle je dobrý: Lynx/2.8.6rel.4 libwww-FM/2.14 SSL-MM/1.4.1 OpenSSL/0.9.8e