LoginSignup
45
50

More than 3 years have passed since last update.

@nognog(nog)

VS Codeからリモートサーバー上のJupyterLabにアタッチしてデバッグを行う手順

Last updated at Posted at 2020-04-18

1. この投稿で説明すること

以下手順により、JupyterLabとVS Codeを使ってデバッグを行う環境を構築します。
1. リモートサーバー上でJupyterLabを起動
2. JupyterLabから、Pythonのクラスを呼び出す。
3. ローカルPC上のVSCodeから、上記のJupyterLabのnotebookへリモートアタッチをしてデバッグを行う。
4. 図示すると以下の通り。

スクリーンショット 2020-04-08 00.09.27.png

以下動画を見ていただくと、具体的にどのようなことができるかのイメージを持っていただけると思います。
Untitled.gif

2. Motivation

  1. JupyterLabは、ちょっとしたコードを書いたり、結果をきれいにまとめて共有するには便利ですが、本格的にプログラムを作成する時には、VSCode等のエディターを使うことが多いのではないでしょうか。
  2. 一方、このように開発したプログラムを使って検証を行うときには、JupyterLabから呼び出すと便利なことが多いです
  3. このような使い方をする際に、JupyterLabから呼び出したプログラム上にブレークポイントを設定し、VSCodeからデバッグを行う環境を構築する方法についての説明します。

3. 今回構築する環境のポイント

  • VS Codeでは、remote developmentという仕組みを用いることで、sshで接続することにより、リモートサーバー上のフォルダやファイルをローカルPCとほぼ同等に編集することが可能です。詳細はこちらをご参照。
  • VS Codeでは、リモートサーバー上にptvsdというパッケージをインストールすることにより、リモートサーバー上のPythonプロセスにattachをしてデバッグを行うことが可能です。詳細はこちらをご参照。
  • JupyterLabでは、kernelという仕組みを用いることで、任意のプロセス（Pythonでなくても可）をインタプリタとして使用することが可能。
  • 本稿では、上記を組み合わせることで、上で説明したことを実現しています。

4. 環境構築

4.1. リモートサーバーの環境構築

4.1.1. 前提条件

  • この記事ではDockerのイメージ「tensorflow/tensorflow:1.14.0-gpu-py3-jupyter」をベースに環境構築を行いました。
  • ただ、anaconda等でJupyterLabをインストール済みの場合はそのまま使うことも可能だと思います。（以下つらつら説明してますが、要は、リモートサーバー上でptvsdがインストールされ、JupyterLabのkernelとして設定されていれば動きます。）

4.1.2. 必要なアプリのインストール

# apt-get update
# apt-get install -y wget
# apt-get install -y language-pack-ja
# apt-get install -y ssh
# apt-get install -y git
# update-locale LANG=ja_JP.UTF-8

4.1.3. nodejsのインストール

JupyterLabのExtensionをインストールするために必要です。kernelの設定をするだけでしたらこの手順は不要ですが、JupyterLabを便利に使うために対応しておいたほうがよいでしょう。

# curl -sL https://deb.nodesource.com/setup_12.x | bash -
# apt-get install -y nodejs

4.1.4. Python & JupyterLabのインストール

  • 特に、jupyterlabとptvsdが必要です。
  • 今回はついでにnumpy, matplotlib, scikit_learnのインストールすることにします。
  • jupyterlabは、2020年4月時点では、version2が出ていますが、まだ対応していないExtensionが多いため、今回は1.0.2をインストールすることにします。
# pip install -r requirements.txt
requirements.txt
numpy==1.16.3
matplotlib==3.0.3
scikit_learn==0.20.3
jupyterlab==1.0.2
ptvsd==4.3.2

4.1.5. ローカルPC側のVS Codeからアクセスするためのsshの起動

VS Codeからリモートサーバーに接続してリモート開発を行うために必要です。今回は、port 19205でsshのポートを開きます。

# cp /etc/ssh/sshd_config /etc/ssh/sshd_config.org
# sed -e s/#Port/Port/g /etc/ssh/sshd_config.org  | sed -e s/22/19205/g > /etc/ssh/sshd_config

次に、sshを起動しておきます。

root@25fa703a90c4:/tf# service ssh start
 * Starting OpenBSD Secure Shell server sshd                             [ OK ]

4.2. JupyterLabの設定

次に、JupyterLabの設定を行います。今回は、jupyterLabのサーバーはjupyterユーザーで起動することにします。

4.2.1. /usr/local/share/jupyter/labディレクトリの所有権を変更

　まず、準備として、/usr/local/share/jupyter/labディレクトリの所有権をjupyterに変更します。これを実行しないと、jupyterユーザーで起動下JupyterLab上からExtensionのインストールができない等、色々と不便です。
　もっとよい方法があると思います（例えば、これらのファイルはホームディレクトリ内に保存するようにする等）。ここでは安直に、以下で所有権を変更してしまいます。

# chown -R jupyter:jupyter /usr/local/share/jupyter/lab

4.2.2. ptvsdをJupyterLabのkernelとして設定

まず、JupyterLabからデバッグ用のインタプリタを呼び出せるようにするため、/usr/local/share/jupyter/kernels/ptvsd/kernel.jsonというファイル名で、以下ファイルを保存します。（ここで設定したインタプリタをJupyterLabから呼び出す方法は、後ほど説明します。）

※ このディレクトリの所有者はrootになっていると思いますので、rootで保存します。

kernel.json
{
 "argv": [
  "/usr/bin/python3",
  "-m",
  "ptvsd",
  "--host",
  "0.0.0.0",
  "--port",
  "19204",
  "-m",
  "ipykernel_launcher",
  "-f",
  "{connection_file}"
 ],
 "display_name": "Python3 Debug",
 "language": "python"
}

こんな感じです。

root@25fa703a90c4:/usr/local/share/jupyter/kernels# pwd
/usr/local/share/jupyter/kernels
root@25fa703a90c4:/usr/local/share/jupyter/kernels# mkdir ptvsd
root@25fa703a90c4:/usr/local/share/jupyter/kernels# cd ptvsd
root@25fa703a90c4:/usr/local/share/jupyter/kernels/ptvsd# cat > kernel.json <<EOL
{
 "argv": [
  "/usr/bin/python3",
  "-m",
  "ptvsd",
  "--host",
  "0.0.0.0",
  "--port",
  "19204",
  "-m",
  "ipykernel_launcher",
  "-f",
  "{connection_file}"
 ],
 "display_name": "Python3 Debug",
 "language": "python"
}
EOL
root@25fa703a90c4:/usr/local/share/jupyter/kernels/ptvsd# ls kernel.json
kernel.json

以上でJupyterLabの設定は完了です。

4.3. VS Codeの設定

次にVS Codeでremote developmentを行うための設定をします。

4.3.1. sshでの接続の準備

まず、もしまだでしたら、ローカルPCからリモートサーバーへsshで接続できるよう、鍵交換等の準備をしておく必要があります。詳細の手順は省略しますが、こちら等が参考になると思います。

4.3.2. Remote Development Extension Packのインストール

こちらの手順に従って、Visual StudioにRemote Development extension packをインストールします。

4.3.3. VS Codeからリモートサーバーに接続する設定

以下手順により、VS Code1からリモートサーバーに接続してフォルダやファイルの編集ができるようになります。（２回目以降は、保存した設定を用いて接続することもできます。）

  1. 画面左下のボタンをクリック

skitch.2.png
2. コマンドパレットが表示されるので、「Remote-SSH: Connect to Host」を選択

skitch.1.png
3. 「Add New SSH Host...」を選択

skitch.png
4. コマンドラインからsshでアクセスする時のコマンドを入力。例えば、以下を入力します。便利です！

ssh user@host名 -p ポート名

skitch.4.png
5. ssh設定の保存場所を指定（通常は個人フォルダ以下のほうを指定すると思います。）

skitch.3.png
6.右下に表示されるダイアログで「Connect」ボタンをクリック

skitch.5.png

4.3.4. Python extension for Visual Studio Codeのインストール

　次に、VS Code上でPythonのデバッグ行うために、こちらからPython extension for Visual Studio Codeをインストールします。

　以上で、VS Codeからリモートサーバーへの接続が完了します。この手順により、リモートサーバー上のファイルやフォルダが、あたかもローカルPCにあるかのようにVS Codeで編集できるようになります。

5. サンプルプログラムの実行

5.1. サンプルプログラムの説明

とても簡単ですが、以下サンプルプログラムを利用します。まず、リモートサーバー上で、notebookを保存するディレクトリと同じディレクトリに以下のファイルを保存します。

sample.py
import numpy as np

def sample(x):
    y = np.square(x)
    return y

5.2. JupyterLabへのアクセス

次に、リモートサーバー上で、JupyterLabを起動し、ローカルPC上のブラウザからJupyterLabにアクセスします。（普通にJupyterLabにアクセスする方法と同じです。）

5.2.1. リモートPC上でJupyterLabを起動

jupyter lab --ip=0.0.0.0

5.2.2. JupyterLabへアクセス

jupyterLab起動時のログに、以下かのようなメッセージを見つけることができると思いますので、ローカルPCからURLにアクセスすることで、JupyterLabを開くことができます。　＊アクセス時に、IPアドレスはリモートPCのものに変更します。

    To access the notebook, open this file in a browser:
        file:///home/jupyter/.local/share/jupyter/runtime/nbserver-13-open.html
    Or copy and paste one of these URLs:
        http://(da9742c1f7ef or 127.0.0.1):8888/?token=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

ローカルPC上のブラウザから、5.2.1JupyterLab起動時に出力されるURLにアクセスすることで、JupyterLabにアクセスできます。

5.3. Kernelを指定し、notebookを作成

JupyterLabにアクセスすると、以下のように、Notebook欄に、「Python3 debug」というkernelが表示されるようになっていると思います。（これは、手順4.2.2で設定したptvsdを用いたkernelです。）
　このボタンをクリックして、新しいnotebookを作成します。
JupyterLab.png

　画面右上が、「Python3 Debug」となっており、先ほど作成したDebug用のKernelが使われていることが分かります。

JupyterLab2.png

とりあえず、以下のようなNotebookを作成し、実行してみます。

Jupyter_and_VSCode_sample.png

※Qiitaはgistは貼り付けられないみたいですが、こちらにソースがありますのでこちらもご参照ください。

5.4. VS Codeでのリモートデバッグの設定

5.4.1. リモートサーバーへ接続し、プロジェクトを開く

4.3の手順に従い、VS Codeでリモートサーバーに接続します。接続したら、サンプルプログラムを開きます。こんな感じです。

sample_py.png

5.4.2. デバッグの設定（launch.jsonの設定）

以下手順に従ってデバッグの設定をします。

VSCode2.png

設定内容は以下のようにします。

  • port: ptvsdのkernelの設定で設定したポートを指定します。
  • host: リモートサーバーのIPアドレスを指定します。
  • pathMappings: localRootは、以下例のように${workspaceFolder}でよいと思います。remoteRootは、リモートサーバー上のファイルを保存したフォルダを指定します。　

※ブレークポイントの設定がうまくいかない時は、pathMappingsの設定に問題がある可能性があるので、ここをいじってみるとよいと思います。

{
    // IntelliSense を使用して利用可能な属性を学べます。
    // 既存の属性の説明をホバーして表示します。
    // 詳細情報は次を確認してください: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [

        {
            "name": "Python: アタッチ",
            "type": "python",
            "request": "attach",
            "port": 19204,
            "host": "192.168.2.200",
            "pathMappings": [
                {
                    "localRoot": "${workspaceFolder}",
                    "remoteRoot": "/home/jupyter/proj/docker"
                }
            ]
        }
    ]
}

以上でデバッグの設定が完了です。次に実際にデバッグをやってみます。

5.5. JupyterLabのプロセスにアタッチしてデバッグを実行

デバッグの手順は以下の通りです。詳細は冒頭のデモの動画もご参照ください。

  1. VS Code上で適宜ブレークポイントを設定した後、先ほど設定した「Python アタッチ」を実行
  2. JupyterLabから、notebookを実行
  3. ブレークポイントで処理が中断するので、デバッグを行う。

  4. VS Code上の「デバッグコンソール」で実行したコマンドの結果は、JupyterLab上にも表示されます。特に、matplotlib等で内部変数を表示し、グラフで表示したりもできるのでとても便利です！

  5. まとめ
    　以上、JupyterLabから実行したPythonプロセスをVS Codeからリモートアタッチしてデバッグを行う説明でした。とても便利ですので是非お試しください。ちょっと殴り書きなので不備があるかも知れません。疑問点等ありましたらコメントいただけましたら適宜追記・修正をしたいと思います。

45
50
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
45
50