LoginSignup
1
5

More than 1 year has passed since last update.

ETLツール pentaho(spoon)の環境設定紹介

Last updated at Posted at 2023-03-25
  • spoon は Excel、csv、各種DB などのデータソースの読み込み、http リクエスト、httpレスポンス(json)に対して処理が出来る ETL ツールです。
  • GUI でパーツを組み合わせてETL処理を組み立てます。
    (SQL、java、javascript などのコードを書くことも出来ます。)
    image.png
  • そのまま使っても良いですが、業務などで使う場合環境設定をする事で更に便利に扱えるので環境設定方法についてまとめています。
記事内で使用する環境 ダウンロード先
pdi-ce-9.3.0.0-428 https://sourceforge.net/projects/pentaho/files/Pentaho-9.3/client-tools/
・pdi-ce-9.3.0.0-428.zip
openjdk version "11.0.2" 2019-01-15 https://jdk.java.net/archive/
・11.0.2

環境準備

  • java の配備
    今回は下記場所へ配備しました。
    C:\java\jdk-11.0.2
    image.png
  • pdi の配備
    今回は下記場所へ配備しました。
    C:\PDI\data-integration
    image.png

起動

  • 環境変数の JAVA_HOME に java ディレクトリが設定されていれば、
    data-integration\Spoon.bat を実行するだけで spoon が起動します。
  • 今回は KETTLE_HOME を設定して、本番環境・検証環境ごとにプロパティを分離して起動します。
  1. C:\PDI に下記の .bat を作成して起動します。
    preSpoon.bat
    cd /D %~dp0
    SET KETTLE_HOME=C:\PDI\config\PRE
    SET JAVA_HOME=C:\java\jdk-11.0.2
    data-integration\Spoon.bat
    
    proSpoon.bat
    cd /D %~dp0
    SET KETTLE_HOME=C:\PDI\config\PRO
    SET JAVA_HOME=C:\java\jdk-11.0.2
    data-integration\Spoon.bat
    

プロパティの設定

  1. spoon が開いたら Ctrl + Alt + Pkettle.properties を開きます。(または「編集」→「kettle.propertiesファイル編集」)
    image.png

  2. kettle プロパティに接続環境の情報を入力します。(PW は後ほど設定します。)
    下記は例として postgreSQL のプロパティを設定。
    事前に postgreSQL で spoonPre DB を作成済み。
    image.png

    • C:\PDI\config\[PRE or PRO] 配下に
      .kettle\kettle.properties が作成されます。
      image.png
  3. 「ジョブ」→「データベース接続」の順に選択する。

    1. 「接続名」に適当な名前を入力する。
    2. 「ホスト名」「データベース名」「ポート番号」「ユーザー名」に kettle.properties で設定した環境変数を設定します。
    3. 「パスワード」を入力します。
    4. 「テスト」を選択すると、接続テストが実施出来ます。
    5. 最後に「OK」を選択して、ジョブ(.kjb)を保存します。
      image.png
  4. 「データベース接続」→「共有」をします。
    image.png

    • 「共有」する事で .kettle\shared.xml に DB 接続情報が保存されて spoon 起動時に接続情報が読み込まれます。
      image.png

その他設定

便利だと感じた設定をまとめています。

  • カラー変更
    .kettle\.spoonrc を変更すると spoon のカラー変更が出来ます。
    本番環境:🟥系、検証環境:🟩系などにしておくと起動後に一目で判別しやすいのではないかと思います。
    image.png
1
5
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
5