Edited at

Hadoopと愉快な仲間たち

More than 3 years have passed since last update.

自分用のメモです。


ビッグデータ分散処理


  • Hadoop

  • Spark


    • インメモリー処理を主体



  • Storm


    • リアルタイムHadoop




Hadoop


Spark


Storm


分散ファイルシステム


  • HDFS

  • WebHDFS


    • HTTP REST APIでHDFSにアクセスできる機能




HDFS


WebHDFS


Hadoop内のアルゴリズム


  • MapReduce

  • YARN

  • Tez


MapReduce


  • 並列処理フレームワーク MapReduce

  • MapReduce


YARN


Tez


swimlanes


分散ストレージシステム


HBase


SQL Query Engine


  • Hive

  • Pig

  • Presto


Hive


Pig


Presto


Prestogres


その他


Hcatalog


  • 大規模データについてのメタデータ、文字通りカタログの中央集中管理機能と、そのデータ入出力アダプタを提供する

  • HCatalogインストール

  • HCatalog


Hue


zipkin