0. この記事は何か

いろいろあって、Dockerとdbtを評価してみたくなりまして。

ということで、これまでExcelマクロ等で行っていた、担当システムのインシデント分析を、ざっくりdbt on Dockerに移そうとしています。

本記事は、その開発環境(評価環境)のセットアップ手順で、一般に公開する意味があるのか微妙なのですが、まあ、誰かの参考になればと。

構成は、ローカルWindowsのWSL上にDockerの開発コンテナを立てる形で、 DBはPostgreSQLを使用しています。

あまり詳しくない担当者も想定しているので、まっさらな状態から状態からの手順になっています。識者にとっては冗長だと思うので、そのあたりは適当にすっ飛ばしてください。

0. WSL2の導入

開発環境はDockerで動かしたく、かつ、Docker Desktopは有料で使いたくないので、手元のWindowsにWSLでLinux乗っけて、その上で開発コンテナを動かします。ということで、まずはWSLの導入。

ホストOS(Windows)のPowershellで以下を実行します。このコマンド一発で、機能の有効化だけでなく、Linux OS(Ubuntu)イメージの展開まで行われます。

wsl --install

あと、好みに応じてですが、以下のページの「Ubuntuの配置先を変更」も実施してください。

GlobalProtectのSIG(Secure Internet Gateway)の影響で、SSL通信がうまく行かない場合は、以下の作業を実施してください。通常は不要です。

ゲストOS(Ubuntu)にDockerをセットアップします。
以下の参考記事の「Dockerエンジン(Linux側)のインストール」を実施してください。

WSLのデフォルトユーザにDocker関連の操作の権限を付与します。

WSL上で以下を実行してください。
※「rabut」の部分をWSLのデフォルトユーザ名に置き換えて実施してください。

sudo usermod -aG docker rabut

とりあえず、Visual Studio Codeをインストールします。
やり方がわからなければ、以下のページなどを参考に。

アドインをインストールします。
ひとつ前の「Japanese Language Pack」のインストールと同じ手順で実行できます。

WSL

Visual Studio Codeを起動して、左下の「リモートウィンドウを開きます」ボタンをクリックし、表示された選択肢から「WSLへの接続」を選択します。

Ctrl + Shift + P でコマンドパレットを開き、「git clone」を入力します。選択肢が表示されるので「Git Clone」をクリックします。

以下のURLを入力し、表示された「リポジトリのURL」をクリックします。
「https://github.com/rabut001/qatools.git」

リポジトリの展開先の選択画面欄が表示されるので、適当なディレクトリを選択してください。一応、初期値(ユーザのホームディレクトリ)でも大きな問題はないかと思います。

「クローンしたリポジトリを開きますか？」と聞かれるので「開く」をクリックします。

作成者を信頼しますか？と表示されるので、「はい。作成者を信頼します」をクリックします。

「コンテナーで開発するフォルダをもう一度開きます」と表示されるので、「コンテナーで再度開く」をクリックします。

開発コンテナーに接続した状態で環境が起動しますので、以下のフォルダに分析対象のシステムに対応した各ファイルを配置してください。とりあえずは直下の「sample」フォルダから全ファイルをコピーしてくる形でよいです。
workspace/app/conf
workspace/app/seeds

「Ctrl + @」でターミナルを起動し、以下のコマンドを実行しseedを作成します。。
※このコマンドはインシデント管理システムと接続できる状態でないとエラーになるため、一般の方は実行しなくて大丈夫です。

python /workspace/app/scripts/generate_seeds_from_qaweb.py

同じくターミナルから、以下のコマンドを実行します。

cd /workspace/app
dbt build

処理が実行され「Completed Successsfully」が表示されればOKです。