ITエンジニア/デザイナ向けにオープンソースを毎日紹介

技術 - 分散型コンピューティングの記事一覧

プレミアムユーザー限定記事

MOONGIFTプレミアムは、月額500円の有料サービスです。詳細はこちらから

もっと見る

None

  • Premium_s 2017/04/18

分散型システムの利点、欠点について

最近ZOZOTWONがシステムをマイクロサービスへとシフトするという話があったり、マストドンが爆発的に注目を集めたりと分散型システムに対する期待が高まっています。今回はそんな分散型システムの利点と難点について紹介します。## マスターが存在しない?分散型と言うとマスターが全く存在しない、すべて独立したシステムのように感...

List

  • 2009/09/24

Amazon EC2をベースに分散処理システムを構築する「Cloud Crowd」

Cloud CrowdはRuby製のオープンソース・ソフトウェア。大量のデータを処理しようと思った時にはMapReduceのような仕組みに注目が集まる。テキストのみならず、大量のOCR処理が必要になったり画像をサムネイル化したいといった時にはどのようなシステムを構築するのだが良いだろうか。Rubyを使って分散処理 一時...

List

  • 2009/01/21

例のあの人?Amazon Dynamoクローン「Project Voldemort」

とは言っても魔法使いではない。れっきとしたオープンソース・ソフトウェアだ。Amazonの社内用プロジェクトとしてAmazon Dynamoと呼ばれるものがある。これはデータ量が膨大になった場合における分散化データベースプロジェクトだ。キーと値のシンプルなデータベース それを外部サービス化したものとして知られるのがSim...

List

  • 2008/10/09

PCの空き時間を使って有意義な計算処理を「BOINC」

昔、SETI@homeなどが流行った。いわゆるコンピュータのアイドル時間を使って、計算処理を行うと言ったプロジェクトだ。クラウドコンピューティングの走りのようなもので、現在ではその種類も様々に増えている。アイドル時間を使って、研究に貢献 そんな分散コンピューティングを支えるフレームワークがBOINCだ。BOINCはオー...

List

  • 2008/07/06

HTTPベースによるMapReduceフレームワーク「HTTPMR」

大規模なデータを分散処理するための技術と言えばMapReduceだ。通常の企業では難しい、数万台のネットワークコンピューティングを駆使したデータ処理を可能にするGoogleの根幹をささせる一技術になっている。処理の一覧 そんなMapReduceはオープンソースで実装されるものもあるが、本格的に実装するにはハードウェアや...

List

  • 2008/06/20

Googleのデータ処理分散システムMapReduceのオープンソース実装「Skynet」

Googleではその超巨大なコンピュータネットワークを使って、データ処理が分散化されている。これにより、大量のデータを瞬時に処理することが可能になっている。この分散処理システムはMapReduceと呼ばれており、Googleの基盤を支えるコア技術の一つだ。処理状態を確認するコンソール ごく小規模なシステムであればニーズ...

List

  • 2007/08/03

クローラーも分散型コンピューティング「Grub」

Open Tech Press | 米Wikia:分散型ウェブ巡回ツールを買収、オープンソース化より。 分散型コンピューティングという手法は面白い。古くはSETI@HOMEやUD Agent等があった。コンピュータが高性能化し、台数が急増している中、利用度はむしろ低くなっている可能性は否めない。そして、Web巡回を行う...