Cloud CrowdはRuby製のオープンソース・ソフトウェア。大量のデータを処理しようと思った時にはMapReduceのような仕組みに注目が集まる。テキストのみならず、大量のOCR処理が必要になったり画像をサムネイル化したいといった時にはどのようなシステムを構築するのだが良いだろうか。
Rubyを使って分散処理
一時的に無数のシステムを立ち上げ平行で処理を走らせる時に注目したいのがAmazon EC2だ。以前、ニューヨークタイムズでは1,100万枚を越える画像をPDFに変換するという処理をAmazon EC2のインスタンスを100立ち上げて行ったという事例がある。どうようのシステムを構築するのがCloud Crowdだ。
とは言っても魔法使いではない。れっきとしたオープンソース・ソフトウェアだ。Amazonの社内用プロジェクトとしてAmazon Dynamoと呼ばれるものがある。これはデータ量が膨大になった場合における分散化データベースプロジェクトだ。
キーと値のシンプルなデータベース
それを外部サービス化したものとして知られるのがSimpleDBだが、若干異なる点もあるようだ。そしてそのクローンを目指すのがこの名前を呼んではいけないあの人と同じ名前のプロジェクトだ。
今回紹介するオープンソース・ソフトウェアはProject Voldemort、Amazon Dynamoクローンだ。
昔、SETI@homeなどが流行った。いわゆるコンピュータのアイドル時間を使って、計算処理を行うと言ったプロジェクトだ。クラウドコンピューティングの走りのようなもので、現在ではその種類も様々に増えている。
アイドル時間を使って、研究に貢献
そんな分散コンピューティングを支えるフレームワークがBOINCだ。BOINCはオープンソース・ソフトウェアで、様々な分散コンピューティングプロジェクトを支えている。
大規模なデータを分散処理するための技術と言えばMapReduceだ。通常の企業では難しい、数万台のネットワークコンピューティングを駆使したデータ処理を可能にするGoogleの根幹をささせる一技術になっている。
処理の一覧
そんなMapReduceはオープンソースで実装されるものもあるが、本格的に実装するにはハードウェアやインフラの存在が必要になる。だが、これを使えばハードウェアも無用でMapReduceを体感できる。
今回紹介するオープンソース・ソフトウェアはHTTPMR、Google App Engine上で動作するMapReduce実装だ。
Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。
処理状態を確認するコンソール
ごく小規模なシステムであればニーズは発生しないかも知れないが、数十台、数百台のコンピュータを結びつける上で分散化処理は欠かせない技術だ。そこでMapReduceをオープンソース実装したこちらを紹介しよう。
今回紹介するオープンソース・ソフトウェアはSkynet、Rubyで実装されたMapReduceのオープンソース実装だ。
Open Tech Press | 米Wikia：分散型ウェブ巡回ツールを買収、オープンソース化より。
分散型コンピューティングという手法は面白い。古くはSETI@HOMEやUD Agent等があった。コンピュータが高性能化し、台数が急増している中、利用度はむしろ低くなっている可能性は否めない。
そして、Web巡回を行うクローラーもまた、分散型コンピューティングに名乗りを上げた。
今回紹介するオープンソース・ソフトウェアはGrub、分散型コンピューティングを利用したWebクローラーだ。尚、オープンソース化するとの事だが、現状配布されているバージョンではライセンスはLooksmartのものになっているのでご注意いただきたい。
|
MOONGIFT
|
Open Service
|
|
Rails 2.0
|
Resident on Net
|
|
iPhone最適化
|
リーンソフトウェア
|
|
MarketPedia
|
Producing Web
|
|
Cool Coding
|
