タグ「技術 - 分散型コンピューティング」の記事一覧
MOONGIFTプレミアムは、月額500円の有料サービスです。詳細はこちらから。
2009/09/24
Amazon EC2をベースに分散処理システムを構築する「Cloud Crowd」
Cloud CrowdはRuby製のオープンソース・ソフトウェア。大量のデータを処理しようと思った時にはMapReduceのような仕組みに注目が集まる。テキストのみならず、大量のOCR処理が必要になったり画像をサムネイル化したいといった時にはどのようなシステムを構築するのだが良いだろうか。 ...
2009/01/21
例のあの人？Amazon Dynamoクローン「Project Voldemort」
とは言っても魔法使いではない。れっきとしたオープンソース・ソフトウェアだ。Amazonの社内用プロジェクトとしてAmazon Dynamoと呼ばれるものがある。これはデータ量が膨大になった場合における分散化データベースプロジェクトだ。 キーと値のシンプルなデータベース それを外部サービ...
2008/07/06
HTTPベースによるMapReduceフレームワーク「HTTPMR」
大規模なデータを分散処理するための技術と言えばMapReduceだ。通常の企業では難しい、数万台のネットワークコンピューティングを駆使したデータ処理を可能にするGoogleの根幹をささせる一技術になっている。 処理の一覧 そんなMapReduceはオープンソースで実装されるものもあるが...
2008/06/20
Googleのデータ処理分散システムMapReduceのオープンソース実装「Skynet」
Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。 処理状態を確認するコンソール ...
2007/08/03
クローラーも分散型コンピューティング「Grub」
Open Tech Press | 米Wikia：分散型ウェブ巡回ツールを買収、オープンソース化より。 分散型コンピューティングという手法は面白い。古くはSETI@HOMEやUD Agent等があった。コンピュータが高性能化し、台数が急増している中、利用度はむしろ低くなっている可能性は...
アンケート