Help us understand the problem. What is going on with this article?

Jupyter+Ansibleを使ったインフラ運用のための下準備

More than 3 years have passed since last update.

Advent Calendar、遅刻してしまったわけですが・・・

今年も、去年から引き続き国立情報学研究所さんにてJupyterとAnsibleを使ってインフラ運用をやらせていただきました。
本来、Jupyterはデータ分析のための道具として生まれたわけですが、文章+コードの形式で、Notebookとして実行内容を記述、実行して残しておくというやり方は、データ分析以外の場面でも役に立つなあ、としみじみ感じています。そんなわけで、Jupyter+Ansible+インフラ運用なネタを。

この記事の内容

NIIクラウド運用チームにおけるインフラ運用のコンセプトについては
Jupyter Notebookを用いた文芸的インフラ運用のススメ
にて詳しく説明されているのでそちらを参照していただくとして、インフラ運用の"お手本(の一例)"Notebookとして、以下のようなNotebookを公開してみています。

イベントなどでお話ししますとみなさん割と興味を持っていただけるわけですが、意外とインフラとJupyterが連携するところまでの環境準備がめんどくさい感じで「軽く試してみよう」とはいかないのも事実です。

ということで、JupyterとAnsibleをインストールした環境を準備して、Jupyterから操作できるようAnsibleと接続先マシンを設定するということをStep-by-Stepで説明してみようと思います。

Jupyter+Ansibleの準備

Jupyter環境は適当な運用サーバ上などに構築してもよいのですが、このJupyter環境には認証用の情報などが保存されることになり、共有に関してはちょっと考慮をする必要が出てきます。そこで、今回はローカルに(自分専用の)Jupyter環境を作ることにします。

Macな人はいいのですが、Windowsな自分は Bash on Ubuntu on Windowsの闇を覗いてしまったり、以前Dockerでの構築も紹介していたわけですが、公式といっていたイメージが廃止されてしまう憂き目にあったりしたので、おとなしくローカルにインストールしたDocker(Docker for Windows)で、スクラッチのDockerfileを用意してJupyter環境を作ることにします。

Jupyter+Ansible環境の起動

Dockerを使ってJupyter+Ansible環境を起動するためのリソースをGitHubに置きました。 https://github.com/yacchin1205/jupyter-for-infrastructure

Docker EngineとDocker Composeがインストールされている環境であれば、以下の手順でJupyter+Ansible環境を作成することができます。

  1. https://github.com/yacchin1205/jupyter-for-infrastructure をクローンするかZIPダウンロードする

    PS ..> git clone https://github.com/yacchin1205/jupyter-for-infrastructure.git
    
  2. クローンしたディレクトリで、docker-compose up する

    PS ..\jupyter-for-infrastructure> docker-compose up
    

リポジトリには docker-compose.yml と、 Dockerfile が用意してあるので、はじめて実行する場合はJupyterのイメージビルド処理が走ります。時間がかかるのでしばらくお待ちください。

Jupyter環境へのアクセス

特にエラーなど起きずJupyterが起動したら、ブラウザで、 http://localhost:8888 を開いてください。これで、Ansibleが入ったJupyter環境を利用することができます。

jupyter-web.png

このJupyter環境に何がインストールされているかは、jupyter/Dockerfile を見てもらえればわかります。だいたい以下のような感じです。

  • Python 2.7
  • Jupyter
  • pandas, matplotlibなどデータ処理用ライブラリ
  • Ansible
  • 自分がよく使うExtension
  • 自分用カスタムCSS ... フォントなど

なお、Ansibleが2.2段階でTech preview of Python 3 support ということで、Pythonは2.7を入れています。

ちなみに、社会人博士での研究でもJupyterを使っているわけですが、こんな風にDockerfileでインストールされているソフトウェアがリストされていると、自分がどうやって環境を準備したかが非常に明確になって気分が楽になります。

Notebookの管理

Notebookファイルはコンテナ中の /notebooks ディレクトリ内に作成されますが、これはホストの (jupyter-for-infrastructureディレクトリ)\notebooks フォルダに保存されるようにしています。インフラ管理のコードはナイーブな情報を含む場合も多いですので、データの管理には十分に気を付けましょう。

また、コンテナは localhost (127.0.0.1) でのみlistenするようにしていますが、念のため他のマシンからアクセスできないように十分気を付けてください。

Ansibleからホストへのアクセス

このJupyter環境にはすでにAnsibleがインストールされていますが、操作対象ホストを列挙したInventoryや、ホストへのアクセスのためのキーペアなどの情報は設定されていません。

Gist https://gist.github.com/yacchin1205/4108ecb4a36b45f5cfbe0c6c08c2b8f1 にホストへのSSHアクセスまでを説明したNotebookを置きましたので、起動したJupyter Notebook環境にアップロードして実行してみてください。

image

なお、以下のような章立てになっています。

  1. Inventoryの準備
  2. ホストキーの登録
  3. キーペアの準備
  4. 動作確認

ToC(Table of Contents) Extensionなどもインストール済みですので、ツールバーのToCボタンを押すと、目次を見ながら進めることができます。

jupyter-toc.png

そういえば、いつの間にか、選択中のセル位置に対応する目次がハイライトされるようになっていてアツいですね。

まとめ

Jupyter全体を見た場合はインフラ向きではない部分が多少ありつつも、Jupyterを使って文芸的な運用をすることで、ちゃんと運用に「説明を残す」癖がつきつつあるかなあという感じがあります。

そんなわけで、
Happy Literate Computing for Reproducible Infrastructure(長い)!

yacchin1205
インフラとかロボットとかとたわむれている人です。
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした