RobotsTxtはWindows用のオープンソース・ソフトウェア。インターネットに関係するソフトウェアを開発しているとクローラーが必要になることがある。そういう時、目的にぴったりマッチしたものは見つからず自作することが多い。 0
使い方の例
0
そんな時、必要になるのがrobots.txtを解釈するプログラムだ。もちろん行儀の悪いクローラーも多いが、適切なサービス/ソフトウェアを作るならばrobots.txtを判断すべきだろう。そんな時、WindowsアプリケーションであればRobotsTxtが利用できそうだ。 0
RobotsTxtはDLL形式で提供されるライブラリで、robots.txtのパーサーだ。まず最初にコンテンツ（テキスト）を読み込ませる。その上でユーザエージェントとアクセスしたいパスを与えるとアクセス可否が返ってくる仕組みだ。シンプルで分かりやすい。 0
さらにクローラーの頻度を設定する仕組みの判断にも対応している。ミリ秒単位で返ってくるので、設定されていればその間が処理を停止してアクセス過多にならないようにすべきだろう。その他Sitemapやワイルドカード指定にも対応している。コンテンツを取得するようなソフトウェアを開発する際には使ってみよう。 0
プレミアムユーザには“MOONGIFTはこう見る”、記事の一行概要、追加スクリーンショット、デモや追加URLが表示されます。登録（500円/月）はこちらから！ プレミアムユーザのログインはこちらから 0
robotstxt - A robots.txt parser in C# - Google Project Hosting 0
MOONGIFTの関連記事
このエントリーを含むTwitter
アンケート