##Mesosとは
カリフォルニア大学バークレー校の研究機関AMPLabのプロジェクトを起源としてるらしいSpark
とおなじところ
リソース効率の高い分散システムを簡単に作れる。
Apache Mesos は、分散アプリケーション or フレームワークに対して、効率的なリソース分離、共有を提供するクラスタ管理ソフトです。Mesos を使うと、ノードの動的共有プール上で Hadoop, MPI, Hypertable, Spark, その他のアプリケーションを走らせることができます。
特にMesosが注目され始めた理由には、話題のインメモリ処理基盤ソフトウェアのApache Sparkやコンテナー管理ソフトウェアのDockerへの対応があげられます。
インメモリの分析基盤ソフトウェアであるApache Sparkのリソース管理のソフトウェアとして、Mesosを選択することができますし、資源管理ソフトウェアを使って、管理対象の物理サーバー上で稼働するDockerコンテナーでアプリケーションを実行することができます。このように、Mesosは、ヘテロな分散環境における資源管理ソフトウェアとして、ビッグデータ、コンテナー技術、HPCなどの異業種を巻き込んでいます。(画像も上記サイトより引用)
[特徴]
ZooKeeper を使ったフォールトトレラントな複製マスター
10,000 ノードのスケーラビリティ
Linux コンテナとタスク間の分離
マルチリソーススケジューリング (メモリとCPU)
新しい並列アプリケーションを開発するための Java, Python, C++ のAPI
クラスタの状態を表示するためのWeb UI
##YARNとMesosの違い
http://kimutansk.hatenablog.com/entry/20131104/1383496192
Mesosはリソースの割り振りをLinuxコンテナ(LXC)を用いて実現している。
YARNは単にLinuxのプロセスを制御しているのみ。
これはImmutable Infrastructure
を考えるとき、Mesos
の方がいいのかなという印象
##Immutable Infrastracture
http://www.publickey1.jp/blog/14/immutable_infrastructure_1.html
http://blog.mirakui.com/entry/2013/11/26/231658
Windowsって調子が悪くなると再インストールしてすっきりさせるじゃないですか。OSにいろんなソフトウェアをインストールしたりカスタマイズしたりすると調子が悪くなりますが、再インストールすれば戻ります。
だったら、そもそも毎回作り直せばシステムはすっきりするよね、というのが簡単なImmutable Infrastructureの説明です。
##アーキテクチャ
http://kimutansk.hatenablog.com/entry/20131012/1381570285
##Mesos × HPC
https://oss.sios.com/guest-blog/guest-bog-20150915
Mesos は、Apacheコミュニティが手掛けるオープンソースのプロジェクトで、クラスター管理システムのソフトウェアとして位置づけられています。日本では、「クラスター」というと、データベースなどが共有ストレージと共に稼働する高可用性(*1)クラスター(HAクラスター)を思い浮かべる方もいるかもしれませんが、Mesosにおけるクラスターとは、高可用性クラスターのことを意味するのではなく、分散ヘテロ環境の計算資源をひとまとめにしたものを意味します
(*1):高可用性(こうかようせい、英: High Availability; ハイ・アベイラビリティ、HA)は可用性が高いことを示すIT用語。
システムなどにおいて、サービス提供が出来なくなる事態の発生頻度が少ないことを指す。
また、そのようなシステムをHA構成などと呼称する。
##Mesos × Spark
環境構築
http://kimutansk.hatenablog.com/entry/20131007/1381102379
http://kimutansk.hatenablog.com/entry/20131008/1381184646
http://kimutansk.hatenablog.com/entry/20131010/1381359054