Help us understand the problem. What is going on with this article?

Hadoopと愉快な仲間たち

More than 5 years have passed since last update.

自分用のメモです。

ビッグデータ分散処理

  • Hadoop
  • Spark
    • インメモリー処理を主体
  • Storm
    • リアルタイムHadoop

Hadoop

Spark

Storm

分散ファイルシステム

  • HDFS
  • WebHDFS
    • HTTP REST APIでHDFSにアクセスできる機能

HDFS

WebHDFS

Hadoop内のアルゴリズム

  • MapReduce
  • YARN
  • Tez

MapReduce

  • 並列処理フレームワーク MapReduce
  • MapReduce

YARN

Tez

swimlanes

分散ストレージシステム

HBase

SQL Query Engine

  • Hive
  • Pig
  • Presto

Hive

Pig

Presto

Prestogres

その他

Hcatalog

  • 大規模データについてのメタデータ、文字通りカタログの中央集中管理機能と、そのデータ入出力アダプタを提供する
  • HCatalogインストール
  • HCatalog

Hue

zipkin

DG0426
気が向いたときに記事を更新しています。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away