Spark内部構造解説ドキュメントのリンク集

  • 62
    いいね
  • 0
    コメント
この記事は最終更新日から1年以上が経過しています。

Apache Sparkの内部構造・動作について説明している情報源を紹介します(今後、随時更新していきたいと思いますので、誤り・他の情報源などありましたらお知らせください)。
(翻訳を除き)全て英語のスライド・文書ですが、長い文が書かれているものは少ないので、理解できるかと思います。

全体像

RDD

Shuffle

DataFrame

Tungsten

Catalyst

この投稿は Apache Spark Advent Calendar 201517日目の記事です。