技術 - クローラの記事一覧
Perl製のシンプルなWebステータスチェッカー「mojo-checkbot」
mojo-checkbotは指定したURL以下のリンクについてステータスをチェックしてくれるクローラーです。特定サイト以下のURLについて順次チェックしてステータスを取得してくれる、それがmojo-checkbotです。Webサイト運用に活かしてみてください。結果画面です。URLとタイトル、そのURLのステータスが一覧...
Safariで見ているページを含めてリンク先もまとめてAmazon S3へ保存「BrowserCrawler」
BrowserCrawlerはSafari機能拡張として動作するクローラ。データはAmazon S3に保存される。BrowserCrawlerはSafari向けのオープンソース・ソフトウェア。Webブラウジングをしていて、サイトを保存しておきたいと思うことがある。クリッピングサービスは幾つかあるが、有名なものとしてはE...