技術 - クローラーの記事一覧
PasteHunter - 突如現れる重要な情報を逃さずキャッチする
漏洩したIDやパスワードなどの情報がPastebinなどに貼り付けられることがあります。そうした情報は即座に世界中に拡散されていきますが、常時ある訳ではありません。長くとも数時間、短ければ5分で消されてしまうこともあるでしょう。そういった情報は次に表に出てくることは多くなく、一度逃したデータは見られなくなってしまいます...
Embed - Webサイトのメタ情報を取得
ソーシャルサービスなどの発展に合わせてWebサイトには多くのメタデータが埋め込まれるようになっています。それらのメタデータを用意することでよりリッチなコンテンツをユーザに提供したり、意図しない情報共有を防げるようになります。今回はそうしたWebサイトに埋め込まれた各種情報をピックアップできるEmbedを紹介します。##...
2014/04/25
2014/04/25使えるWebサービス・オープンソース（26）「クローラー」
今回のテーマはクローラーです。Webサイトを開発していたりする際に欲しくなるのがクローラーです。外部のコンテンツを取得するのにJavaScriptではクロスドメインの制約があるのでサーバサイドから取得するなんてことはよくあると思います。しかし意外とHTTPヘッダーの解釈や文字エンコードなどクローラーを書くのも一筋縄では...
日々のサイト運用に。Ruby製のリンクチェッカー「rawler」
rawlerはRubyで作られたコンソールで動作するリンクチェッカーrawlerはRuby製のオープンソース・ソフトウェア。Webサイトを運営していると、リンクが変更されたりドメインごと移転したりする。そうした作業の蓄積によって、次第にリンク切れが発生していく。だがこれまでのコンテンツ全てについてチェックするのは大変だ...
タイトル・本文抽出クローラー「Webstemmer」
これはやばい！凄すぎる。現在進めようと思っているプロジェクトでは、サイト上の本文抽出が重要な技術になっていた。だが、それを一から開発していたのではあまりに時間がかかってしまう。さらに重要な技術ではあるが、それが売りと言う訳ではなかった。そこで見つけたのがこのソフトウェアだ。まさに理想的な方法かも知れない。今回紹介するオ...
クローラーも分散型コンピューティング「Grub」
Open Tech Press | 米Wikia：分散型ウェブ巡回ツールを買収、オープンソース化より。 分散型コンピューティングという手法は面白い。古くはSETI@HOMEやUD Agent等があった。コンピュータが高性能化し、台数が急増している中、利用度はむしろ低くなっている可能性は否めない。そして、Web巡回を行う...