Arukasを支えるApache Mesos × Marathon

Posted at 2018-12-17

はじめに

今年の4月にさくらインターネットに入社し、早くも半年以上が経ちました。この数ヶ月は、前職のインフラエンジニアの経験を生かしながら、バックエンド・フロントエンドの開発ができ、大変実りの多い期間でした。

開発に関わったサービスは、ArukasというDockerコンテナホスティングサービスになります。

Dockerと言えば、オーケストレーションツールとしてkubernetesが有名です。一方で、Arukasは、Apache Mesos × Marathonのオーケストレーション環境を使用して、日本初のコンテナホスティングを実現しています。

今回は、それらについて説明すると同時に、docker-composeでの簡単な試し方をご紹介します。

Apache Mesosとは?

カリフォルニア大学バークレー校で開発されたクラスタリソース管理フレームワークです。複数の物理マシン（または仮想マシン）を１つのクラスタとして管理し、各ノードのリソース状況に合わせて、タスクを割り当て実行する機能を持ちます。

ちなみに、Mesos Frameworksと呼ばれる機能フレームワークと連携することで、さまざな機能が実現可能です。その一つとして、Marathonとの連携でコンテナオーケストレーションが可能になります。

Marathonとは?

Mesos Frameworksの一つとして開発された、オーケストレーションプラットフォームを実現するフレームワークです。

ハードウェア、ソフトウェアレベルで発生する障害に自動的に対処する目的で開発されました。具体的には、Dockerコンテナの展開、ストレージボリュームとの連携、タスクのスケジューリング、インスタンス台数のスケーリング機能、リソースの死活監視のヘルスチェックなどの機能を備えています。

必要な構成

Apache Mesos + Marathonの構成を動作させるには、主に4つのサービスが必要になります。

構成図

「コンテナ・ベース・オーケストレーション - Docker/Kurbernetesで作るクラウド時代のシステム基盤」の書籍より引用

Mesos Master

Mesos SlaveやMesos Frameworksを取りまとめ、統合・連携のコントロールを行います。

Mesos Frameworksのタスク実行リクエストに応じて、Mesos Slaveにタスクの実行の指示を行い、その実行結果を取りまとめ、Mesos Frameworksに報告するような全体のコントロールを担います。

Mesos Slave

各ノードにインストールされるエージェントです。ノードが保有するコンピューティングリソース（CPU、RAM、ネットワークなど）をMesosクラスタ全体で共有可能にします。

具体的には、Mesos Master経由でMesos Frameworksのリクエストを受け取り、それに応じたタスク処理を実行します。タスクの実行可能なリソースの確認、リソースに応じてタスクをノード上にデプロイする役割を担います。

Marathon

Dockerコンテナリソースの最適な配置、コンテナアプリケーションのデプロイなどを行います。Webブラウザからタスクの操作や編集が出来るコントロールパネルが備わっています。今回は、このコントロールパネルからコンテナを起動する実例もご紹介します。

Apache Zoomkeeper

クラスタやタスクの状態を保管しておくKey-Valueストアです。

MesosはそれらのデータをZoomkeeperに保存するように設計されているため必要になります。

実際に起動してみる

それでは、実際に上で説明した構成の構築・起動を行なってみようと思います。
今回は、Docker Hubで公開されているオフィシャルイメージを使用して、dokcer-composeで起動します。

docker-compose.yml

以下のdocker-compose.ymlを作成するだけで構築・起動が可能です。

version: '3'

services:
  mesos-master:
    image: mesosphere/mesos-master:1.7.0
    hostname: mesos-master
    entrypoint: [ "mesos-master" ]
    ports:
      - "5050:5050"
    depends_on:
      - zookeeper
    environment:
      - MESOS_CLUSTER=local
      - MESOS_HOSTNAME=mesos-master.docker
      - MESOS_LOG_DIR=/var/log
      - MESOS_WORK_DIR=/var/lib/mesos
      - MESOS_QUORUM=1
      - MESOS_ZK=zk://zookeeper:2181/mesos

  mesos-slave:
    image: mesosphere/mesos-slave:1.7.0
    entrypoint:
      - mesos-slave
    privileged: true
    hostname: mesos-slave
    ports:
      - "5051:5051"
    depends_on:
      - zookeeper
      - mesos-master
    environment:
      - MESOS_CONTAINERIZERS=docker,mesos
      - MESOS_ISOLATOR=cgroups/cpu,cgroups/mem
      - MESOS_LOG_DIR=/var/log
      - MESOS_MASTER=zk://zookeeper:2181/mesos
      - MESOS_PORT=5051
      - MESOS_WORK_DIR=/var/lib/mesos
      - MESOS_DOCKER_STOP_TIMEOUT=50secs
      - MESOS_EXECUTOR_REGISTRATION_TIMEOUT=15mins
      - MESOS_EXECUTOR_SHUTDOWN_GRACE_PERIOD=60secs
      - MESOS_RESOURCES=cpus:2;mem:2048;disk:20480;ports(*):[12000-12999]
      - MESOS_SYSTEMD_ENABLE_SUPPORT=false
    volumes:
      - "/var/run/docker.sock:/var/run/docker.sock"
      - "$PWD/tmp/hadoop-2.8.0:/hadoop"

  marathon:
    image: mesosphere/marathon:v1.6.549
    hostname: marathon
    ports:
     - "8080:8080"
    depends_on:
      - zookeeper
      - mesos-master
      - mesos-slave
    extra_hosts:
      - "seaof-172-17-0-1.arukascloud.io:172.17.0.1"
    environment:
      - MARATHON_ENV_VARS_PREFIX="MARATHON_"
      - MARATHON_ZK=zk://zookeeper:2181/marathon
      - MARATHON_MASTER=zk://zookeeper:2181/mesos

  zookeeper:
    image: zookeeper:3.4.13
    hostname: zookeeper
    ports:
      - "2181:2181"