琥珀色の街のデザイン屋

吉祥寺で畑の世話をしつつ、web開発をしているデザイン事務所です

2016年05月21日

不自然なクロール

アクセスログを見ていると、なぜかある特定のGooglebotをサーバが弾いている
しかし、サーチコンソール(旧wmt)上にはエラーメッセージも無い。

それがこのhost
crawl-66-249-79-132.googlebot.com

Webalizerでは、限られた情報しか取れないので、推測の粋を出ないが
可能性として二つ考えられる。

1つは、そもそも存在しないURLを叩く担当のGooglebotの可能性
もう1つは、UseragentやhostをGooglebotに偽装したspambotが、
IPでの規制で引っかかり弾かれている可能性

いずれにせよ、問題が見えていないので、とりあえずは見
いまのところぐぐっても似たような例が出ていないが、はてさて、、、
posted by ohweb at 23:37| Comment(0) | web開発