GoogleとYahooのクローラーのユーザーエージェントを調べた

仕事で調べたのでまとめておきます。

〓Google〓

・基本型
googlebot/2.1 (+http://www.google.com/bot.html)

・mozilla型
mozilla/5.0 (compatible; googlebot/2.1; +http://www.google.com/bot.html)

・Mediapartners
Mediapartners-Google/2.1+(+http://www.googlebot.com/bot.html)
※AdSense用と言われてますが、詳細は不明

・イメージ検索用
Googlebot-Image/1.0+(+http://www.googlebot.com/bot.html)

・携帯サイト
Googlebot-Mobile
※端末はDoCoMoだったり、Nokiaだったり色々あるようです

〓Yahoo〓

・基本型
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; ...
Mozilla/5.0 (compatible; Yahoo! Slurp; ...

・ヤフカテ登録サイト用
Yahoo! DE Slurp

・中国ヤフー
Yahoo! Slurp China

・モバイル
Y!J-SRD/1.0
Y!J-MBS/1.0