琥珀色の街のデザイン屋

吉祥寺で畑の世話をしつつ、web開発をしているデザイン事務所です

2016年05月21日

不自然なクロール

アクセスログを見ていると、なぜかある特定のGooglebotをサーバが弾いている
しかし、サーチコンソール(旧wmt)上にはエラーメッセージも無い。

それがこのhost
crawl-66-249-79-132.googlebot.com

Webalizerでは、限られた情報しか取れないので、推測の粋を出ないが
可能性として二つ考えられる。

1つは、そもそも存在しないURLを叩く担当のGooglebotの可能性
もう1つは、UseragentやhostをGooglebotに偽装したspambotが、
IPでの規制で引っかかり弾かれている可能性

いずれにせよ、問題が見えていないので、とりあえずは見
いまのところぐぐっても似たような例が出ていないが、はてさて、、、
posted by ohweb at 23:37| Comment(0) | web開発

2016年04月03日

廃業のお知らせ

2016年3月末を持ちまして、
当方の再就職のため、OHwebデザイン工房は廃業となりました。
長らくご愛顧いただきありがとうございました。
posted by ohweb at 13:47| Comment(0) | web開発

2014年12月04日

VPSについて

うちのメインサービス「ニココメ」を、お名前.vps(2G)に移して、早3ヶ月
さくらSTDでサーバ止められたこともあって、
当初、googleのクロールにつけていたスピード制限を外したのが1ヶ月前

現在、ユーザ5〜7万人/日、google25万回/日、他社含めると、合計PV33万/日ほど、
まだまだサーバ管理については超初心者なので、限界となるCPU使用時間、転送量などが全く分からない
さくらの場合、レスポンスが悪くなりそうになると、サーバ自体を停止したり、制限したりするのだけど
自己管理のサーバだと、どの程度が限界で、どんな不具合が起こるのか予想がつかない

ただ単に、能力を超えた分だけ503が出る程度ならば、そのときが来てから強化すればよいけど、
完全に止まってしまったり、サーバが落ちてしまったりすると、非常に焦ってしまう。
とりあえず、限界を把握するためにも、
いまはgoogleのスピード制限をかけずに、もうしばらく様子見して見ようと思う。
posted by ohweb at 06:13| Comment(0) | web開発