セキュリティの現場から from バラクーダラボ (198) Barracuda Web Application Firewallで偽のGooglebotやBingbotによるクローリングをブロック

これにより、偽ボット（ユーザエージェントが「Googlebot」）が指定のURLにアクセスすると、即時に拒否されます。また、時間帯を指定してボットをブロックするルール設定も可能です。

○方法3：ハニートラップリンクの埋め込み

これは、方法2をさらに拡大した方法であり、非表示の隠しリンクをランディングページにインジェクトします。必要であれば、robots.txtファイルの［Disallow］フィールドで指定することもできます。次に、隠しリンクの例を示します。

...

このリンクにアクセスするのは（User Agentヘッダにかかわらず）不正なクローラである可能性が高いので、拒否ルールを使ってブロックします。

これは非常に効果的な手法ですが、ソースページに若干の変更を加える必要があります。変更が可能であれば、最初の防護策として使用することをお勧めします。Method # 4: Robots.txt and Crawl-delay

○方法4：Robots.txtとCrawl-delayパラメータ

robots.txtでは、主要なクローラでCrawl-delayパラメータを指定できます。