自分が初めてPythonを触った時、Jupyter Notebookには大変お世話になりました。

そんな感謝の一方で、AWS re:Invent 2021ではSageMaker Studio Labが発表されてJupyter環境がまた注目されているなーというにわか心もあったので、JupyterLabの使い方を考えてみました。

機械学習しなくても、手元でJupyterLabを使い始めることが目的です。

前提

Assume RoleかつMFAを設定したIAMユーザ情報を~/.aws/**に保存
- Athena実行に足りるIAMロール権限を持っていること
- 参考: Amazon Athena でクエリを実行したとき「Access Denied (アクセスが拒否されました) 」というエラーが表示される理由
Athenaは構築済み
pipenv環境を使う
- 下記パッケージを追加

[packages]
aws-mfa = "*"
jupyter = "*"
jupyterlab = "*"
pyathena = "*"
pandas = "*"

[requires]
python_version = "3.8"

JupyterLabの関連パッケージインストール

割愛しても良かったのですが、、JupyterLabに関しては公式ガイドの通りワンライナーでインストール可能です。

pipenv install jupyterlab

むしろaws-mfaを使っていることが個人的にはポイントです。
ローカル環境を便利に使いたいのは当然ですが、認証情報も保護したいためMFA設定は大前提でした。

aws-mfaは~/.aws/**の認証情報プロファイルをもとにAWS STSが発行する一時トークンを受け取り、アプリ(AWS SDK)にMFA認証を仲介するような動作です。

自分の環境では環境変数AWS_PROFILEを設定済みだったので、本当にインストールする以外は準備なしでした。

JupyterLab起動

pipenv環境に入ってからjupyter labを実行すると、デフォルトブラウザが起動するのでそのままログインします。

from IPython.lib import passwd
passwd()

ちなみに上記メソッドを実行するとコンソールパスワードをすぐ設定できるので、検討の余地ありです。

Athenaにクエリ実行

pyathenaの基本通り、試しにクエリを実行するとMFA認証が効いていることが分かります。

from pyathena import connect

cursor = connect(s3_staging_dir="s3://aws-athena-query-results-{account_id}-ap-northeast-1/jupyter/",
                 region_name="ap-northeast-1").cursor()
cursor.execute('SELECT * FROM "athena_cur_billing"."billing" limit 10;')
print(cursor.description)
print(cursor.fetchall())

実行結果

レスポンス冒頭はテーブル定義でした。

クエリ結果をAthenaコンソールと同じように見たい

その場合はpandasを使うと簡単でした。
Jupyter環境でもAthena APIを実行しているため、s3_staging_dirバケットから実行結果ファイル(csv)を取得してopen&出力でも良いのですが、分析作業を繰り返したい場合はpandasが便利そうです。

実行結果

クエリ結果がすぐ分かる点はやっぱり魅力的です。
boto3を使ってS3から実行結果ファイル(csv)も取得すれば、分析結果をさらに整形したり、ローカル保存したりすることも可能です。

今後の使い方（願望）

JupyterLab環境はコードとしてリポジトリ管理可能なため、複数人での環境共有もできます。
また、個人的にJupyterLabの好きなところはコードと同じページにMarkDownやLaTeXを混ぜて記述できることです。仕事をきれいにまとめる仕組みがあるとモチベーションも維持できて、レポート形式で作成すればエンジニア以外にも受けが良さそうなフォーマットも可能なんじゃないかと期待してます。

今回のお試し手順をPDF出力した例はこちら。

参考記事

Connect Jupyter with Amazon AWS Athena
https://myresearchworks.wordpress.com/tag/jupyter-notebook/

Jupyter Notebook でとりあえず Redash へクエリを投げておけばデータソースはなんでも良い状態にする
https://techlog.voyagegroup.com/entry/2017/06/30/185015