注目キーワード

MOONGIFT

OSSを中心としたメディアポータル

大規模なデータを分散処理するための技術と言えばMapReduceだ。通常の企業では難しい、数万台のネットワークコンピューティングを駆使したデータ処理を可能にするGoogleの根幹をささせる一技術になっている。 0

ピクチャ 177.png
処理の一覧 0

 

そんなMapReduceはオープンソースで実装されるものもあるが、本格的に実装するにはハードウェアやインフラの存在が必要になる。だが、これを使えばハードウェアも無用でMapReduceを体感できる。 0

今回紹介するオープンソース・ソフトウェアはHTTPMR、Google App Engine上で動作するMapReduce実装だ。 0

HTTPMRはGoogle App Engine上で動作するライブラリで、HTTPベースでMapReduceのように分散処理を行えるようになる。リクエストはランダムに選ばれたコンピュータ上で実行される。各リクエストは数秒でタイムアウトするようになっている。 0

ピクチャ 176.png
各処理はごく短く、ごく簡単 0

 

またコードによってアクセスできるストレージシステムの存在、各データをユニークな識別子を持たせる機能、各ストレージは以上、以下といった範囲での処理を可能にできるようになっている。 0

各ジョブはwgetのようなHTTPリクエストによって制御ができる。Google App EngineではGoogleの超大規模なインフラを活用できる。HTTPMRを使えばさらに大規模なデータ分散処理ができるようになるはずだ。 0

 

httpmr - Google Code
 http://code.google.com/p/httpmr/ 0

MOONGIFTの関連記事

このエントリーを含むTwitter

Related Posts Plugin for WordPress, Blogger...
新規購読
新規購読

プレミアムでしか読めない記事が161あります。ぜひ登録を!

  • オープンブロックス - OpenBlockS
  • 広告募集

ぷらっとオンラインおすすめ商品もっと見る

もっと見る

人気記事もっと見る