とあるweb屋の仕事術

10年以上現役のweb製作屋さん。web製作雑務全部やる。

Bingのクローラーからの大量アクセスによりサイトがダウンしかけた話

Bingのクローラーからの大量アクセスによりサイトがダウンしかけた話

日々、世界中のWebサイトの情報を収集する

クローラー。

 

僕の勤めている会社では

大手のクライアントのwebサイトのサーバ保守も

やっているのですが、数年前にこのクローラーが

大量にアクセスしてくることでサーバに負荷が

かかり、サイトがダウンしかけたことがあります。

 

検索エンジンは、検索bot(クローラー)を使い、

世界中のwebサイトの情報を巡回・収集し、

データベースに蓄積しその情報をもとに

検索結果を表示しています。

 

Googleのクローラーは

Googlebotとよばれ、

Google以外にもクローラーはあります。

 

そして今回の記事の主役は、Bingのクローラーです。

マイクロソフトの検索エンジンで、サイトはこちら。

Bing

 

Bingは、windowsユーザやお役所関係の

PC環境でよく使われているイメージがあります。

Google(Yahoo)とBingというかんじで、

2大検索エンジンと言ってもいいかなと思います。

 

お役所関係のクライアントはBing使ってたりして

Googleの検索結果も重要だけど、Bingの検索順位も

重視していたりします。

 

このBingのクローラー、

Googleと違って一気に大量にサイトを巡回するのか、

Bingのクローラーによるトラフィックが増えサーバに

負荷がかかることが何度かありました。

サーバーの負荷を検知して確認するとBingのbot...。

 

Beingのbotからのアクセスを許可しないようにしようか

とも考えたのですが、それをやってしまうとBingの検索

結果にサイトが表示されなくなってしまいます。

 

一応Bingを利用しているユーザもそこそこいるのは

まちがいないので、検索流入の元となるBingを

ブロックするのはよい手段ではありません。

 

 

で、調べてみると、

Bingが提供しているwebサイトの解析管理ツール、

「Bing webマスターツール」でクローラーの

巡回頻度を設定できることを知りました。

 

「Bing webマスターツール」については

下記をごらんください。

https://ferret-plus.com/7927

Bing Webマスター ツール とは、 検索エンジン Bingで、所有するWebサイトを上位に表示させるための解析 ツール です。Webサイトの分析や診断を細かくできるため、Bingに最適化するなら外せません。さらに SEO やモバイル対応の診断も行えるので、Webサイトを所有しているなら登録して損はありません。

 

ちなみに当ブログの

「Bing webマスターツール」での設定はこちら

当ブログのBing webマスターツールのクロール制御画面

当ブログのBing webマスターツールのクロール制御画面

 

このようにレートを低くしておくことで、

Bing botによるアクセス負荷を抑えることができます。

 

当ブログは、はてなブログなので

まったくクローラーのアクセスなど

気にしなくてよくて「はてな」にまかせて

おけばいいのですが、webサーバーを保守

するような受託の案件があったときには、上記の

クロール制御をしておくことをおすすめします。

 

 

ほか、クローラーについて詳しく解説している

参考サイトはっておきます。

 

www.leadplus.net

www.leadplus.net

ferret-plus.com

webkikaku.co.jp