セキュリティの現場から from バラクーダラボ (198) Barracuda Web Application Firewallで偽のGooglebotやBingbotによるクローリングをブロック

バラクーダネットワークスのお客様から、「自社のWebサイトが偽のGooglebotにクローリングされている」という報告をよく聞きます。さらには、「偽のクローラによるクローリングはブロックしたいが、正当なGooglebot（またはBingbotなど）によるクローリングはブロックしたくない」というニーズがあります。偽のクローラは帯域幅を消費するだけでなく、ホットリンクやコメントスパム、および他のWebアプリケーション攻撃も実行します。

ではまず、偽のGooglebotがサーバ（Apacheなど）ログにどのように記録されるかを見てみましょう。

209.321.163.xx - - [24/Jun/2014:14:32:20 -0600] "GET / HTTP/1.1" 200 31375 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

このプログラムは、User Agentフィールドで自らを「Googlebot」であるとしていますが、IPアドレスから、Googleでないことがわかります。