0
0

Pyspark(Jupyter Notebook)をDevcontainerで構築する

Posted at

背景

Pyspark(Jupyter Notebook)をDevcontainerで構築することで、自分の環境を汚さず、いつでも同じ環境を即座に立ち上げて、Pyspark(Jupyter Notebook)を好きなだけローカルで検証できるを整えたかった。
それに、新しくAsure Synapse Analytics Apache Spark Poolだったり、Azure Databricksの案件に入るメンバーに対して、それらをキャッチアップする環境を用意してあげたかったのがことの発端です。
結局、環境を作るのが一番しんどいので。

Devcontainer

Visual Studio Code、Devcontainerで環境を作成しています。
詳細はリポジトリを参照してください。

リポジトリ

以下のリポジトリで公開していますので、よかったら利用してみてください。

備考

画面収録した動画をgifに変換するためにffmpegを利用した。
Installは以下の通り。

brew install ffmpeg

※Mac、Homebrew

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0