hadoop
dgメモ

Hadoopと愉快な仲間たち

More than 3 years have passed since last update.

自分用のメモです。

ビッグデータ分散処理

  • Hadoop
  • Spark
    • インメモリー処理を主体
  • Storm
    • リアルタイムHadoop

Hadoop

Spark

Storm

分散ファイルシステム

  • HDFS
  • WebHDFS
    • HTTP REST APIでHDFSにアクセスできる機能

HDFS

WebHDFS

Hadoop内のアルゴリズム

  • MapReduce
  • YARN
  • Tez

MapReduce

  • 並列処理フレームワーク MapReduce
  • MapReduce

YARN

Tez

swimlanes

分散ストレージシステム

HBase

SQL Query Engine

  • Hive
  • Pig
  • Presto

Hive

Pig

Presto

Prestogres

その他

Hcatalog

  • 大規模データについてのメタデータ、文字通りカタログの中央集中管理機能と、そのデータ入出力アダプタを提供する
  • HCatalogインストール
  • HCatalog

Hue

zipkin