はじめに
こんにちは！ AWS の Amazon SageMaker という機械学習のための IDE をご存知ですか？
どんどんアップデートされていて、最近 UI が大幅に変更されてかなり使いやすくなってきました。そろそろ Amazon SageMaker ノートブックインスタンスから乗り換えを検討する時期かもしれません。
とはいえ、裏側のアーキテクチャもだいぶ違うし、今まで快適に使ってた環境は新しい SageMaker Studio でも使えるのかな？と思われている方もいるかもしれません。そこで今回は、R ユーザの皆様に向けて、新しい SageMaker Studio の特に JupyterLab で R の環境を構築する方法をご紹介します。
もちろん、R 以外の環境も同様にインストール可能です！
R 環境の選択肢
新しい SageMaker Studio で R 環境を構築する方法はざっくり以下の 4通りです。
- JupyterLab を起動した後ターミナルで R を手動インストール
- SageMaker ライフサイクル設定で R をインストール
- R 入りカスタムコンテナイメージを SageMaker Distribution イメージとして設定
- RStudio のライセンスを購入して利用
4 の RStudio を使う方法は RStudio のライセンスを購入して SageMaker Studio から使う方法です。 こちらのドキュメント で説明されているのでこの記事では割愛します。
事前準備
Amazon SageMaker Studio の準備
Quick setup か Custom setup の方法を参照して、SageMaker Domain とユーザプロファイルを作成してください。
ターミナルで R を手動インストール
（この方法は一番手軽ですが、JupyterLab を再起動するたびにこの手順を実行する必要があります。）
AWS コンソールから Amazon SageMaker Studio を起動してください。以前 Amazon SageMaker を使ったことのある方なら、初回起動の速さに驚くと思います。
こんな感じで、SageMaker Studio が起動します。左側のメニューの左上にある、オレンジ色の JupyterLab アイコンをクリックしてください。
すると、以下のような画面が表示されるので、右上にある「+ Create JupyterLab space」ボタンをクリックして、好きな名前をつけて「Create space」ボタンをクリックします。これで JupyterLab space が作成されます。
数秒待つと、以下のように「Run space」ボタンを押せるようになります。この画面で、「Instance」と書かれているメニューをクリックして、インスタンスタイプを ml.t3.large 以上のスペックに変更します。私が試したときは、デフォルトの ml.t3.medium だと R のインストールがタイムアウトで中断してしまい、うまくいきませんでした。ml.t3.large では問題なく R をインストールできました。
インスタンスタイプを変更したら、「Run space」ボタンをクリックして JupyterLab space を開始します。数分待つと、「Open JupyterLab」ボタンを押せるようになるのでクリックします。すると、以下のような Launcher が表示されます。この画面の Other のエリアにある、Terminal をクリックします。
すると、以下のようなターミナルが表示されるので、conda install -c conda-forge --freeze-installed --yes r-base r-irkernel というコマンドで R をインストールします。
すると、Launcher に以下のように R アイコンが表示されるようになります。このアイコンをクリックすれば、R が使える状態のノートブックが開きます。R アイコンが表示されない場合は、いったん Launcher タブを閉じて、+ ボタンで再度 Launcher を開いてください。
SageMaker ライフサイクル設定で R をインストール
上記の手動インストールは簡単ですが、JupyterLab を再起動するたびにインストール手順を実行しなければなりません。そこで、ライフサイクル設定を使って、R のインストールを JupyterLab 起動時に自動で行うようにします。
SageMaker コンソール（SageMaker Studio ではなく、AWS コンソールの方）の左側のメニューの、「Admin configurations」->「Lifecycle configurations」をクリックします。
以下のような画面が表示されるので、「JupyterLab」タブを選択して、オレンジ色の「Create configuration」ボタンをクリックします。
その後、適当な名前をつけて、 Scripts のエリアにあるテキストボックスに以下のスクリプトをコピー＆ペーストして、右下の「Create configuration」ボタンをクリックします。
#!/bin/bash
set -eux
conda install -c r --freeze-installed --yes ipykernel r-base r-irkernel
次に、SageMaker コンソール左側のメニューの、「Admin configurations」->「Domains」をクリックします。事前準備で作成したドメインが表示されるので、そちらをクリックします。
すると、以下のようにドメインの詳細画面が表示されるので、一番右側の「Environment」タブをクリックします。
すると、「Lifecycle configurations for personal Studio apps」と書かれたエリアがあるので、そこにあるオレンジ色の「Attach」ボタンをクリックします。
すると、以下のような画面が表示されるので、「Existing configuration」を選択して、先ほど作成したライフサイクル設定を選んで、右下にあるオレンジ色の「Attach to domain」ボタンをクリックします。この画面で「New configuration」を選択してここからライフサイクル設定を作成することもできます。
ここまでの手順で、ライフサイクル設定を SageMaker ドメインにアタッチできたので、JupyterLab の画面でライフサイクル設定を選択できるようになります。次の手順に進む前に、JupyterLab が稼働中の場合は、一旦停止させてください。
ライフサイクル設定を選択する前に、「Instance」と書かれているメニューをクリックして、インスタンスタイプを ml.t3.large 以上のスペックに変更します。私が試したときは、デフォルトの ml.t3.medium だと R のインストールがタイムアウトで中断してしまい、うまくいきませんでした。ml.t3.large では問題なく R をインストールできました。
次に、「Lifecycle Configuration」で作成したライフサイクルを選択してから、「Run space」をクリックし、その後、「Open JupyterLab」ボタンをクリックします。
これで、手動で R をインストールしなくても、Launcher に R のアイコンが表示されるようになります。
R 入りカスタムコンテナイメージを SageMaker Distribution イメージとして設定
最後は、カスタムコンテナイメージを作って、それを SageMaker Distribution イメージとして使う方法です。すでに利用しているカスタムコンテナの環境にできるだけ近づけたいという場合はこちらの方法がおすすめです。また、この方法だと ml.t3.medium インスタンスを使用することができます。
以下は、こちらのドキュメント に記載されている例をもとにした、R をインストールする Dockerfile の例です。この例の場合、ビルドしたコンテナイメージのサイズが 3GB ほどになりますが、より小さいイメージを作りたい場合は、こちらのドキュメント の Amazon Linux 2 をベースイメージにした方のサンプルをベースにして Dockerfile を作成してください。
FROM public.ecr.aws/sagemaker/sagemaker-distribution:latest-cpu
ARG NB_USER="sagemaker-user"
ARG NB_UID=1000
ARG NB_GID=100
ENV MAMBA_USER=$NB_USER
USER root
RUN apt-get update
RUN micromamba install sagemaker-inference --freeze-installed --yes --channel conda-forge --name base 'r-base' 'r-irkernel'
USER $MAMBA_USER
ENTRYPOINT ["jupyter-lab"]
CMD ["--ServerApp.ip=0.0.0.0", "--ServerApp.port=8888", "--ServerApp.allow_origin=*", "--ServerApp.token=''", "--ServerApp.base_url=/jupyterlab/default"]
上記 Dockerfile を使って Docker イメージをビルドし、Amazon ECR レポジトリに push します。以下は、ECR レポジトリ作成、Docker イメージのビルド、イメージの push を実行するスクリプトの例です。リージョンやリポジトリ名などは適宜変更してご利用ください。
REGION="us-west-2"
ACCOUNT_ID=$(aws sts get-caller-identity --query 'Account' --output text)
REGISTRY_URL="${ACCOUNT_ID}.dkr.ecr.${REGION}.amazonaws.com"
IMAGE_TAG="latest"
ECR_REPOGITORY="custom-r-image"
IMAGE_URI="${REGISTRY_URL}/${ECR_REPOGITORY}"
aws ecr get-login-password | docker login --username AWS --password-stdin $REGISTRY_URL
aws ecr create-repository --repository-name $ECR_REPOGITORY
docker build -f Dockerfile.r . -t $ECR_REPOGITORY
docker tag ${ECR_REPOGITORY} $IMAGE_URI:${IMAGE_TAG}
docker push $IMAGE_URI:${IMAGE_TAG}
コンテナイメージを ECR レポジトリに push できたら、SageMaker のコンソールに行き、左側のメニューにある「Admin configurations」->「Domains」をクリックします。事前準備で作成したドメインが表示されるので、そちらをクリックします。
すると、以下のようにドメインの詳細画面が表示されるので、一番右側の「Environment」タブをクリックします。
一番上の、「Custom images for personal Studio apps」のエリアにあるオレンジ色の「Attach image」をクリックします。「New image」を選択して、先ほど push したコンテナイメージの URI をテキストボックスにコピペして、右下の「Next」をクリックします。
次に、適当な名前をつけて、以下の部分は「Jupyterlab image」を選択して、右下の「Submit」ボタンをクリックします。
ここまでで、カスタムイメージを SageMaker Distribution イメージとして設定できたので、JupyterLab の画面の「SageMaker Distribution」メニューで選択できるようになります。次の手順に進む前に、JupyterLab が稼働中の場合は、一旦停止させてください。
先ほど作成したイメージを選択して、「Run space」をクリックし、その後、「Open JupyterLab」ボタンをクリックします。
おわりに
この記事では、新しくなった Amazon SageMaker Studio の JupyterLab で R 環境をインストールする方法を紹介しました。
環境の移行ができるか不安で新しい SageMaker Studio を使うのを躊躇していたんだよねー、という方のお役に立てば幸いです。