セキュリティの現場から from バラクーダラボ (198) Barracuda Web Application Firewallで偽のGooglebotやBingbotによるクローリングをブロック

このパラメータでは、特定のサーバへのリクエストの処理間隔を秒単位で指定します。この指定を行う場合、ブルートフォースポリシー（［Webサイト］<［高度な設定］ページ）を設定することにより、指定した間隔よりも短い間隔でアクセスしてくるボットを検出し、ブロックします。

○方法4：GoogleのIPアドレスの確認

偽ボットのヘッダが巧妙で、しかもrobots.txtファイルのルールを回避し、隠しリンクでも捕捉できない場合には、最終手段としてIPアドレスを使用します。正当なGooglebotでは、次のようにGoogleのIPアドレスが使用されます。

66.249.x.y

216.239.x.y

したがって、Googlebotと称していてもGoogle以外のIPアドレスを使用している場合には、ブロックする必要があります。

ただしこの手法では、Googleがクローラで使用するIPアドレスを確認する作業が必要になります。IPアドレスは頻繁に変更されるものではありませんが、1年に1回か2回の頻度で変更されることがあります。

以上のいずれの場合も、ルールに違反する要求のみを拒否する方法と、ルールに違反するクライアントIPを一定の時間だけ（1時間、1日など）