LoginSignup
12
11

More than 5 years have passed since last update.

Apache Mesos 入門してみた

Last updated at Posted at 2016-09-14


他の記事の引用まとめメモみたいになってます。
これからも随時編集していきます

Mesosとは

カリフォルニア大学バークレー校の研究機関AMPLabのプロジェクトを起源としてるらしいSparkとおなじところ

リソース効率の高い分散システムを簡単に作れる。
Apache Mesos は、分散アプリケーション or フレームワークに対して、効率的なリソース分離、共有を提供するクラスタ管理ソフトです。Mesos を使うと、ノードの動的共有プール上で Hadoop, MPI, Hypertable, Spark, その他のアプリケーションを走らせることができます。

特にMesosが注目され始めた理由には、話題のインメモリ処理基盤ソフトウェアのApache Sparkやコンテナー管理ソフトウェアのDockerへの対応があげられます。
インメモリの分析基盤ソフトウェアであるApache Sparkのリソース管理のソフトウェアとして、Mesosを選択することができますし、資源管理ソフトウェアを使って、管理対象の物理サーバー上で稼働するDockerコンテナーでアプリケーションを実行することができます。このように、Mesosは、ヘテロな分散環境における資源管理ソフトウェアとして、ビッグデータ、コンテナー技術、HPCなどの異業種を巻き込んでいます。(画像も上記サイトより引用)
image2

[特徴]
ZooKeeper を使ったフォールトトレラントな複製マスター
10,000 ノードのスケーラビリティ
Linux コンテナとタスク間の分離
マルチリソーススケジューリング (メモリとCPU)
新しい並列アプリケーションを開発するための Java, Python, C++ のAPI
クラスタの状態を表示するためのWeb UI

YARNとMesosの違い

Mesosはリソースの割り振りをLinuxコンテナ(LXC)を用いて実現している。
YARNは単にLinuxのプロセスを制御しているのみ。

これはImmutable Infrastructureを考えるとき、Mesosの方がいいのかなという印象

Immutable Infrastracture

http://www.publickey1.jp/blog/14/immutable_infrastructure_1.html
http://blog.mirakui.com/entry/2013/11/26/231658

Windowsって調子が悪くなると再インストールしてすっきりさせるじゃないですか。OSにいろんなソフトウェアをインストールしたりカスタマイズしたりすると調子が悪くなりますが、再インストールすれば戻ります。
だったら、そもそも毎回作り直せばシステムはすっきりするよね、というのが簡単なImmutable Infrastructureの説明です。

アーキテクチャ

Mesos × HPC

Mesos は、Apacheコミュニティが手掛けるオープンソースのプロジェクトで、クラスター管理システムのソフトウェアとして位置づけられています。日本では、「クラスター」というと、データベースなどが共有ストレージと共に稼働する高可用性(*1)クラスター(HAクラスター)を思い浮かべる方もいるかもしれませんが、Mesosにおけるクラスターとは、高可用性クラスターのことを意味するのではなく、分散ヘテロ環境の計算資源をひとまとめにしたものを意味します

(*1):高可用性(こうかようせい、英: High Availability; ハイ・アベイラビリティ、HA)は可用性が高いことを示すIT用語。
システムなどにおいて、サービス提供が出来なくなる事態の発生頻度が少ないことを指す。
また、そのようなシステムをHA構成などと呼称する。

Mesos × Spark

環境構築
http://kimutansk.hatenablog.com/entry/20131007/1381102379
http://kimutansk.hatenablog.com/entry/20131008/1381184646
http://kimutansk.hatenablog.com/entry/20131010/1381359054

12
11
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
12
11