「押さえておきたいWeb知識」で検索お願いします!

[Web用語] MapReduceとは? 分かりやすく解説します!

1.MapReduceとは?

MapReduceとは大規模データを並列で処理するための技術です。

Googleが開発したことでも知られています。




2.解説

Googleは世界中のWebページの情報を収集して検索できるように処理している会社です。

世界中のWebページを扱うとなるとデータ量は1台のコンピュータでは処理しきれない膨大なサイズになります。

そこでTB級の大規模データでも短時間で解析できるように一つの処理を複数のコンピュータで分散する手法が利用されるようになりました。

それがMapReduceです。

次にMapReduceの仕組みをみていきましょう。

計算処理を実行するMapperと呼ばれるコンピュータが一つのデータを分割して処理します。

Mapperが処理した結果はReducerと呼ばれる処理結果を集計するコンピュータによってまとめられ、結果が出力されます。

MapReduceの仕組みはApache Hadoopというソフトウェアでも試すことができます。

Apache HadoopはGoogleが発表したMapReduceの仕組みを独自に実現したオープンソフトウェアでAmazonやYahooなどが採用しています。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です