背景
Pyspark(Jupyter Notebook)をDevcontainerで構築することで、自分の環境を汚さず、いつでも同じ環境を即座に立ち上げて、Pyspark(Jupyter Notebook)を好きなだけローカルで検証できるを整えたかった。
それに、新しくAsure Synapse Analytics Apache Spark Pool
だったり、Azure Databricks
の案件に入るメンバーに対して、それらをキャッチアップする環境を用意してあげたかったのがことの発端です。
結局、環境を作るのが一番しんどいので。
Devcontainer
Visual Studio Code、Devcontainerで環境を作成しています。
詳細はリポジトリを参照してください。
リポジトリ
以下のリポジトリで公開していますので、よかったら利用してみてください。
備考
画面収録した動画をgifに変換するためにffmpegを利用した。
Installは以下の通り。
brew install ffmpeg
※Mac、Homebrew