FC2ブログ

EC2LinkFinder

EC2LinkFinderというUserAgentのアクセスが時々来ていて
それがrobots.txtを無視して片っ端からリンクをたどっていきます。
Amazonの管理するサーバからくるみたいで、Amazonのrobotかと思っていたら
そうでもなく、借りているだけみたいです。
しかも、なんと行儀の悪いクローラーだとおもっていたら、
どうも、何かを探る悪質なbotらしいです。。。

ということは、robots.txtさえも探るための情報として利用しているんですよね。
なんらかの拒否の設定が必要かもしれませんね。。
ttp://www.sipylus.com/press/144-ec2linkfinder/
には

* 23.20.0.0/14 (23.20.0.0 – 23.23.255.255)
* 50.16.0.0/15 (50.16.0.0 – 50.17.255.255)
* 50.19.0.0/16 (50.19.0.0 – 50.19.255.255)
* 67.202.0.0/18 (67.202.0.0 – 67.202.63.255)
* 72.44.32.0/19 (72.44.32.0 – 72.44.63.255)
* 75.101.128.0/17 (75.101.128.0 – 75.101.255.255)
* 107.20.0.0/14 (107.20.0.0 – 107.23.255.255)
* 174.129.0.0/16 (174.129.0.0 – 174.129.255.255)
* 184.73.0.0/16 (184.73.0.0 – 184.73.255.255)
* 184.72.128.0/17 (184.72.128.0 – 184.72.255.255)
* 184.72.64.0/18 (184.72.64.0 – 184.72.127.255)
* 204.236.192.0/18 (204.236.192.0 – 204.236.255.255)

という情報が載っていますが、これを全部httpd.confにいれないといけないんですかね。。


http://chattera.net/
http://chattera.net/chaberilist.php
スポンサーサイト

コメントの投稿

非公開コメント

プロフィール

chattera.net

Author:chattera.net
フリーでソフト開発の仕事をしています。
自作したこのチャットシステムは、何か世の中に役に立つこともあるかと思いますので、お呼びがかかるとうれしいですね。

連絡先は chatteranet@gmail.com です。

また、ソフト開発関連のお誘いもうけたまわっております。

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QR