Spark内部構造解説ドキュメントのリンク集

  • 70
    Like
  • 0
    Comment
More than 1 year has passed since last update.

Apache Sparkの内部構造・動作について説明している情報源を紹介します(今後、随時更新していきたいと思いますので、誤り・他の情報源などありましたらお知らせください)。
(翻訳を除き)全て英語のスライド・文書ですが、長い文が書かれているものは少ないので、理解できるかと思います。

全体像

RDD

Shuffle

DataFrame

Tungsten

Catalyst

This post is the No.17 article of Apache Spark Advent Calendar 2015