目的

オープンソースのBIツール「Pentaho」のETLツールであるPDI(Pentaho Data Integration)のインストール手順と基本的な設定項目を整理する。

PDIって？

目的にも書いてしまったけど、一言でいうと「オープンソースのBIツールであるPentahoがもつETLツール」です。
Pentaho自体は、OLAP、定形レポート、ダッシュボード、ETL、ユーザ管理等のプラットフォームを含むBIスイート製品ですが、そのなかのETL機能をPDIと呼びます。

PDI自体は、Spoon(ETLの処理をデザインするクライアントツール)、Pan&Kitchen(デザインしたETL処理をバッチ実行するツール)、Carte(ETL処理を実行するサーバ機能）で構成されているETLツールです。
基本的な機能としては、有償版と無償版で同じです。
(有償版と無償版での大きな違いは、Spoon上でデータの可視化ができるかどうかというところです）

今回の環境

PDI 7.1
Java Version 8 Update 131
※OSはJavaが動けばなんでも良い、またJavaはとりあえず最新版を入れておけば大丈夫

Javaのダウンロードとインストール

Javaは以下からダウンロードしてメニューに従ってインストールしておく。
https://java.com/ja/download/

PDIのダウンロードとインストール

以下からダウンロードする。
http://community.pentaho.com/

"Download Section"をClickして、以下のへ移動し"Data Integration"からダウンロードする。

ダウンロードしたZIPファイルを解凍してできる"data-integration"ディレクトリを適当な場所に配置して完了です。

起動方法

Spoon(ETL処理をデザインするクライアントツール)の起動は以下のように行ないます。

$ cd data-integration
$ ./spoon.sh

以下のように起動すればOKです。

設定

日本語化

Toolsメニュー > Optionsを選択し、"Preferred Language"を"Japanese"に変更してSpoonの再起動。

メモリの割り当て

spoon.sh内の"-Xmx1024m"を変更してSpoonの再起動。

$ vim data-integration/spoon.sh

if [ -z "$PENTAHO_DI_JAVA_OPTIONS" ]; then
    PENTAHO_DI_JAVA_OPTIONS="-Xms1024m -Xmx2048m -XX:MaxPermSize=256m"
fi

各種JDBCドライバの配置場所

以下にドライバを置いて、Spoonの再起動。

data-integration/lib/配下

kettle.properties

kettle.propertiesは起動しているJVM上で共通的に使用できるパラメータです。
SpoonやPan、Kitchen等は必ずkettle.propertiesを読み込むようになっているので、ここに共通的に使用したい値を設定しておくことで各ETL処理内で使いまわすことができます。
左辺がパラメータ名で右辺が値です。ETL上では"${パラメータ名}"で右辺の値を呼び出すことが可能です。
また、Spoon上のEditメニュー > Edit the kettle.properties fileから、Spoon上で直接kettle.properteisファイルを変更することも可能です。

$ vim ~/.kettle/kettle.properties

KETTLE_COMPATIBILITY_IMPORT_PATH_ADDITION_ON_VARIABLES=N
KETTLE_REDIRECT_STDERR=N

Pentaho Data Integrationのインストールと基本設定

目的