セキュリティの現場から from バラクーダラボ (198) Barracuda Web Application Firewallで偽のGooglebotやBingbotによるクローリングをブロック

拒否ルールでは、次のような拡張マッチも使用できます。

(Header User-Agent co googlebot) && (Header Accept-Encoding neq gzip,deflate) && (Header From neq googlebot(at)googlebot.com)

上記の拡張マッチでは、「User-Agent」フィールドに「Googlebot」が含まれていても、「Accept-Encoding」ヘッダが「gzip,deflat」でなく、「From」ヘッダが「googlebot(at)googlebot.com」でない場合、指定の処理（この場合はリクエスト拒否）を実行します。

○方法2：Robots.txtと［Disallow］セクション

偽のGooglebotのヘッダが正当なGooglebotのヘッダを巧妙に真似ている場合には、別の対処方法が必要になります。一般的に偽のボットは、robots.txtファイルを使用せず、意図的に［Disallow］セクションで指定されているページにアクセスしようとします。

したがって、拒否ルールをBarracuda WAFで作成し、禁止URLを1つまたはすべて指定する方法が有効です。