ITエンジニア/デザイナ向けにオープンソースを毎日紹介

技術 - クローラの記事一覧

プレミアムユーザー限定記事

MOONGIFTプレミアムは、月額500円の有料サービスです。詳細はこちらから

もっと見る

List

  • 2011/10/28

Perl製のシンプルなWebステータスチェッカー「mojo-checkbot」

mojo-checkbotは指定したURL以下のリンクについてステータスをチェックしてくれるクローラーです。特定サイト以下のURLについて順次チェックしてステータスを取得してくれる、それがmojo-checkbotです。Webサイト運用に活かしてみてください。結果画面です。URLとタイトル、そのURLのステータスが一覧...

26764?type=list&url=http%3a%2f%2fwww.moongift.jp%2fwp-content%2fuploads%2f2011%2f05%2fscreenshot2011-05-07-13.28.45_thumb

  • 2011/05/15

Safariで見ているページを含めてリンク先もまとめてAmazon S3へ保存「BrowserCrawler」

BrowserCrawlerはSafari機能拡張として動作するクローラ。データはAmazon S3に保存される。BrowserCrawlerはSafari向けのオープンソース・ソフトウェア。Webブラウジングをしていて、サイトを保存しておきたいと思うことがある。クリッピングサービスは幾つかあるが、有名なものとしてはE...