Jupyter事始め

はじめに

Jupyter初心者なので、AWS EC2上の環境構築方法、簡単な使い方を半年後の自分用にチラシの裏しておきます。

細かい設定はさておき、手っ取り早くEC2上にJupyter環境を構築し、Jupyter上で簡単なPython scriptを動かして、JupyterのUI操作方法の初歩を覚える所までを目標とします。Linux戦闘力が低いので、極力コピペで手順がなぞれる様に心がけます。

なお、Amazon EMRを使ってSpark Cluster上にJupyterを作りたい場合にはこちらを参照下さい。また、Jupyter Notebookは次期VersionよりJuypter Labとなり大きくUI/機能が変わる予定です。Jupyter Labの環境構築方法はこちらを参照下さい。

Jupyter環境構築

まずは、Jupyter環境を構築する手順です。

EC2の作成

Jupyterを動かすEC2を起動して、sshでloginします。

• Ubuntu 16.04を前提 (Amazon Linuxを使う場合には、aptをyum等に置き換えて下さい)
• EC2はm4.largeぐらいは合った方が良い
• EC2のSecurity GroupでPort 8080を開けておく

必要なmoduleのinstall

atp-getで必要なmoduleを入れて、pipをupdateして、ipython[notebook]をinstallします。 export LC_ALL=Cはssh login時にWARNING! Your environment specifies an invalid locale.みたいなメッセージが表示されたら追加してください。

$ export LC_ALL=C
$ sudo apt-get update
$ sudo apt-get install -y python-pip libpq-dev python-dev libpng12-dev libjpeg8-dev libfreetype6-dev libxft-dev
$ sudo pip install -U pip
$ sudo pip install numpy pandas matplotlib seaborn scikit-learn plotly ipython[notebook]

Jupyterの設定

以下のコマンドを実行すると、Jupyterの設定ファイルの雛形(~/.jupyter/jupyter_notebook_config.py)を作成してくれます。

$ jupyter notebook --generate-config

続いて、~/.jupyter/jupyter_notebook_config.pyを編集します。全て#でComment outされたデカイfileなので、fileの先頭など好きな場所に以下5行を入れて保存します(以下の設定は、誰でもそのJupyter serverにアクセスできる設定となります、ご注意ください)。

c = get_config()
c.NotebookApp.ip = '0.0.0.0'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8080
c.NotebookApp.token = ''

Jupyter LoginにPasswordをかけたい場合

最近のJupyterからSecurity対策としてpasswordかtokenでのLoginが必須になっています。↑の例では、c.NotebookApp.token = ''でtoken無しのアクセスを許可しています。

Login passwordを設定したい場合には、Passwordのhash文字列を事前に調べておく必要が有ります。以下のコマンドを実行するとPasswordを入れるPromptがでるので、設定したいPasswordを入力します。

$ python -c "import IPython;print(IPython.lib.passwd())"

するとsha1:3be1549bb425:1500071094720b33gf8f0feg474931dc5e43dfedの様なsha1:で始まるhash文字列を返してくれるのでCopyしておきます。

そして、↑で編集した~/.jupyter/jupyter_notebook_config.pyの内容を、以下のようにします。c.NotebookApp.passwordの後のhash文字列は、上で事前に調べたhash文字列に置き換えて下さい

c = get_config()
c.NotebookApp.ip = '0.0.0.0'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8080
c.NotebookApp.password = u'sha1:3be1549bb425:1500071094720b33gf8f0feg474931dc5e43dfed'

Jupyterの起動

以下のコマンドを実行すると、Jupyterが起動します。

$ jupyter notebook

Browser上でec2-53-239-93-85.ap-northeast-1.compute.amazonaws.com:8080など、EC2にアクセスに行きます。portの8080をお忘れ無く。 Jupyterのlogin画面が出て、上のほうで設定したpasswordを入力してloginが出来たら成功です。Background実行させたければ、nohup jupyter notebook > /dev/null 2>&1 &としておくと、sshを切断してもJupyterが動き続けます。

Jupyterの自動起動の設定

start_jupyter.shというscriptを作成し、それを/etc/rc.localに登録して、EC2起動時に、BackgroundでJupyterが実行される様に設定します。

• touch ~/start_jupyter.sh
• start_jupyter.shを編集し、中に/usr/local/bin/jupyter notebook、と書いておく
• chmod 777 ~/start_jupyter.sh
• root権限で/etc/rc.localを編集し、su - ubuntu /home/ubuntu/start_jupyter.sh &の1行をexit 0の前に入れる
• root権限でshutdown -r nowでEC2を再起動させる
• Browserから、EC2にアクセスに行き、jupyterのlogin画面が出たら成功です

Jupyterの使い方

超簡単ですが、Jupyterの使い方をチラ裏します。

Jupyter notebookを作成する

Loginしたら、NewからPython2を選択し、Python2のnotebookを作成します。

各種iconについて

Jupyterは、Cellという箱(?)の中に、Codeや説明(Markdown)を記載していき、順次実行させる事で動かします。各種iconの機能は以下の通り

• +アイコンがCellの追加(Insert > Insert Cell AboveかInsert Cell BelowでもCell追加可能)
• はさみアイコンがCellの削除
• 上下の矢印アイコンがFocusが当たっているCellの位置の上下移動
• Pulldownで追加するCellの種類の選択
  • Codeは、PythonなどのCodeの入力時に選択
  • Markdownは、Markdown言語を使い(Codeや処理結果への)説明をつける時に選択。Mathjaxを使い数式の表記も可能
  • Raw NBConvertは、Latexで数式を入力する時に選択
  • Headingは、Markdownと似た用途らしい(将来的にはなくなる予定)

Python code入力してみる

以下のPython codeをCellに入力してみます。現在の時刻を1秒おきに10回printするだけのcodeです。

import datetime, time

def main():
  for count in range(0, 10):
    print_current_time()
    time.sleep(1)

def print_current_time():
  print (datetime.datetime.now().strftime('%Y/%m/%d %H:%M:%S'))

if __name__ == '__main__':
  main()

以下の様に4つのCodeのCellに、上記Python codeを入力してみて下さい。

• 入力が終わったら、Cell > Run All を実行すると、実行されます
• Cellの処理の順番がぐちゃぐちゃになったら、Kernel > Restart でClear all outputs & restartを選択後、再度Cell > Run All を実行すると上から順番に処理されます

コメントを入力してみる

以下の様にMarkdownのCellを追加して、中にMarkdownでコメントを入力してみて下さい。Cell > Run All を実行すると、MarkdownはRenderingされた状態で上から順番に処理されます。

2D Chartを作成してみる

2D Chartの作成にはmatplotlibを使うのが一般的です。以下のCodeをJupyter上で実行させればChartが作成/表示されます。%matplotlib inlineはmatplotlibの出力ChartをJupyter上に表示させる為に必要なオマジナイで、そのNotebook上のどこかで1回宣言/実行されていればOKです。

%matplotlib inline

import numpy as np
import matplotlib.pyplot as plt

x = np.random.randint(0, 100, 10000)
plt.hist(x, bins=20)
plt.plot()

np.random.randint(0, 100, 10000)で、0-99の範囲の乱数intを10,000個作り、その乱数の分布を柱の数を20個のヒストグラムとして表示します。

なお、matplotlibは昔からある2D Chart 作成Libraryで、細かい設定ができる反面、パラメータの設定方法がやや複雑という意見あり、seabornという短いCodeで今風のデザインのChartが作成可能なLibraryもあります(ここら辺を参考)。ただし、matplotlibはサポートだけどseabornはサポートされていないChartがあったりもするので要注意です。

３D Chartを作成してみる

3DのChartはplotlyというLibraryを使うと作成可能です。機械学習等で3Dのデータ分布を確認したい時などに有効で、3DだとScatter, Surface, Meshがサポートされています。以下のCodeをJupyter上で実行すれば、こんな感じで3D Scatter Chartが表示されます。DragやPinch in/outで視点変更や拡縮できる事をお楽しみください。

np.random.multivariate_normal([0,0,0], [[0.1, 0, 0], [0, 1, 0], [0, 0, 2]], 1000).Tは、平均が[0,0,0]で、分散がそれぞれ[0.1, 1, 2]である３次元正規分布な乱数を1000個作る関数です。

import plotly
import numpy as np
plotly.offline.init_notebook_mode()

x1, y1, z1 = np.random.multivariate_normal([3,3,3], [[0.5, 0, 0], [0, 0.5, 0], [0, 0, 0.5]], 1000).T
trace1 = plotly.graph_objs.Scatter3d(x=x1, y=y1, z=z1, mode='markers', marker=dict(size=1, line=dict(color='b')))

x2, y2, z2 = np.random.multivariate_normal([0,0,0], [[0.1, 0, 0], [0, 1, 0], [0, 0, 2]], 1000).T
trace2 = plotly.graph_objs.Scatter3d(x=x2, y=y2, z=z2, mode='markers', marker=dict(size=1, line=dict(color='r')))

fig = plotly.graph_objs.Figure(data=[trace1, trace2])
plotly.offline.iplot(fig, show_link=False)

数式を入力してみる

Jupyter上で数式を表現する方法は幾つかあります。

• Raw NBConvertのCell上でLatexで記載する
• MarkdownのCell上でMathjax（Latex等の数式をBrowserで表示するlibrary）で記載する

ここでは、Markdown上でMathjaxを使って記載してみます。

$$r=\frac{1}{f}$$
$$\left(x + y\right)^{5}$$

Markdown Cellに上記を入力しそのCellを実行させ、以下の様にRenderingされればOKです。

Jupyter上でMathjaxを使った数式のサンプルはこの記事や、この記事にあります。また、Mathjaxの文法はこの記事(英語)が纏まって居ます。

notebookを保存してみる

file > renameで、作成したnotebookに名前を付け、file > Download asで*.ipynb形式で保存が可能です。

その他Jupyter機能

Jupyter上でshell scriptの実行

使っていてShell commandを実行したい、というケースはちょいちょいあります。Pythonのlibraryを追加したい、や、wgetで別のserverからfileを持ってきたい、など。

Master nodeにsshで入ってScriptを実行しても良いのですが、以下のいずれかの方法で、Jupyter上で直接shell scriptの実行も可能です。Jupyterを起動したuser権限でScriptが実行されます。

commandsを使う

commandsというpython libraryは、python上でshell scriptを実行してくれます。

import commands
commands.getoutput("date")
commands.getoutput("curl yahoo.co.jp")

Jupyterの!を使う

Jupyter固有の機能として、!の後にshell scriptを書くと実行してくれます。

!date
!curl yahoo.co.jp

以下の様にsudoしてshell scriptの実行も可能ですが、script実行後にJupyterがずっと処理中になるので、Interrupt等で復旧させる必要が有ります。

!sudo su
!find / -name 'hoge.txt'

Jupyter notebook extensions

Jupyter/IPythonのextensionと言うのが、(Jupyterの本家開発teamとは別で)開発されています。どんな機能があるかは、こちらの記事がとても良く纏まって居ます。

ExtensionのInstall方法は、上記のjupyterの設定で~/.jupyter/jupyter_notebook_config.pyを編集後、jupyter notebookでJupyterを起動させる前に、以下の2行を実行させればOKです。

mkdir -p ~/.local/share/jupyter
sudo pip install https://github.com/ipython-contrib/IPython-notebook-extensions/archive/master.zip

白状するとExtensionは自分は正直使っていません...。ExecuteTimeは便利ですが。

Jupyter Magic Commands

Jupyter/IPythonには、Magic Commandsという専用機能があります。ipython magic commandでググるといろいろ出てきますが、以下の様な物が有名です。

• %whoで、宣言されている変数一覧の表示
• %whosで、宣言されている変数一覧の詳細表示(型と値)
• %%timeitで、Cellの処理に要した時間の計測
• object名+?で、Objectの型と値の表示
• %quickrefで、サポートされるMagic Commandの一覧の表示

Cellに%whosと入力した状態でそのCellを実行すると、Magic commandが実行されます。が、白状するとMagic Commandは自分は正直使っていません...。%whosは便利なのでたまに使いますが。

最後に

良いJupyter生活を！