FC2ブログ

robots.txtを編集

昨日かいたように chaberilist.php?file=をやめて
chaberilistfile.php?file=に変更したまではよかったのですが、
以前のchaberilist.php?file=のときにGoogleが読み込んだURLを何度もアクセスしてくるので、
やめさせたいです。
そこでrobots.txtを編集することにしました。
クローラーを制御するにはrobots.txtを書いて/においておきます。
そこにDisallow:でアクセスして欲しくないURLを書いておけば、(ワイルドカードOK)
行儀のいいロボットならアクセスをやめて、インデックスから削除してくれるはずです。

とりあえず、
Disallow: /chaberilist.php?file=*dat
Disallow: /chaberilistfile.php?file=*dat
の2つを入れておきました。
最初の行は以前のURLでGoogleが取り込んだものを削除するわけですが、
2番目はfile=xxx.datが日付時刻分大量に作成されるので、それをやめさせようと思って入れました。
そのかわり
chaberilistfile.php?file=new
という最新の日付を表示するオプションを作成して、これだけをGoogleに読ませようと思っています。

まだGoogleはrobots.txtを読んでいませんが、はたしてうまくいくでしょうかね・・

http://chattera.net/
http://chattera.net/chaberilist.php
スポンサーサイト

コメントの投稿

非公開コメント

プロフィール

chattera.net

Author:chattera.net
フリーでソフト開発の仕事をしています。
自作したこのチャットシステムは、何か世の中に役に立つこともあるかと思いますので、お呼びがかかるとうれしいですね。

連絡先は chatteranet@gmail.com です。

また、ソフト開発関連のお誘いもうけたまわっております。

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QR