Open Tech Press | 米Wikia：分散型ウェブ巡回ツールを買収、オープンソース化より。

分散型コンピューティングという手法は面白い。古くはSETI@HOMEやUD Agent等があった。コンピュータが高性能化し、台数が急増している中、利用度はむしろ低くなっている可能性は否めない。

そして、Web巡回を行うクローラーもまた、分散型コンピューティングに名乗りを上げた。

今回紹介するオープンソース・ソフトウェアはGrub、分散型コンピューティングを利用したWebクローラーだ。尚、オープンソース化するとの事だが、現状配布されているバージョンではライセンスはLooksmartのものになっているのでご注意いただきたい。

GrubはWindows、Linux向けに提供されており、インストールするとタスクトレイに常駐する。そして、PCが利用されていない時にクローリングを行うソフトウェアだ。

その結果はGrubの中で見ることができるが、実際の内容はGrubプロジェクトへ送られるのでどのような情報がやり取りされているのかは不明だ。だが、オープンソースの概念に則り、透明性の高い検索エンジンを開発することが目的とされているWikka Searchプロジェクトへもその結果が反映されていくらしい。

オープンソースということもあり、クライアントを解析することで自社内のPCを利用して検索エンジン開発に役立てる…なんて事も考えられなくはない。実際、それ位PCのパワーは世界中に溢れている。これらをうまく活用できれば、サーバを何十台も用意するよりもエコロジックでパワフル、スケーラビリティなシステムが構築できるはずだ。

Grub’s Distributed Web Crawling Project
http://www.grub.org/