タグ「技術 - クローラ」の記事一覧
MOONGIFTプレミアムは、月額500円の有料サービスです。詳細はこちらから。
2011/10/28
Perl製のシンプルなWebステータスチェッカー「mojo-checkbot」
特定サイト以下のURLについて順次チェックしてステータスを取得してくれる、それがmojo-checkbotです。Webサイト運用に活かしてみてください。 結果画面です。URLとタイトル、そのURLのステータスが一覧になって表示されます。 更新は随時行われます。次々流れていくのは面白いです。 ...
2011/05/15
Safariで見ているページを含めてリンク先もまとめてAmazon S3へ保存「BrowserCrawler」
BrowserCrawlerはSafari向けのオープンソース・ソフトウェア。Webブラウジングをしていて、サイトを保存しておきたいと思うことがある。クリッピングサービスは幾つかあるが、有名なものとしてはEvernoteが挙げられるだろう。 クローリング中 しかし今見ているページだけは保存で...
アンケート