Pentaho Data Integrationで天気データをAPIより取得する
日々の天気データをAPIで取得する処理を作成する機会があったので、データ取得部分について共有しておきます。 今回は、無償で使用できるAPIから、その時点の天気データを取得するという流れになります...
17 search resultsShowing 1~17 results
You need to log-in
日々の天気データをAPIで取得する処理を作成する機会があったので、データ取得部分について共有しておきます。 今回は、無償で使用できるAPIから、その時点の天気データを取得するという流れになります...
PDIでよく使うなと思う変換機能(ステップ)をまとめて紹介していきます。 なお、定数追加を含む文字列加工機能は色々あるので、それは別途紹介するとして、今回はそれ以外の機能に絞りました。 1. 選...
サマリ この記事では以下について記載しています。 Transformationの作成方法 JOBの作成方法 実行時のイメージ 次のステップ 本記事を読む前に Pentaho Data Integ...
ETL処理の中でデータをDB(Table)へ出力することはよくあるかと思いますので、PDIでの設定方法をまとめました。 使用するのはテーブル出力ステップです。 テーブルからデータを抽出する際はこ...
バッチ処理では加工したデータをCSVファイルとしてアウトプットするということもあるかと思いますので、テストデータをETL上で作って、それをCSVファイルとして出力する方法をまとめました。 参考に...
サマリ この記事では以下について紹介しています。 機能概要(入門編としてPentaho Data Integrationでできることを整理) 用語整理(Pentaho Data Integrat...
バッチ処理でよくあるパターンとして、CSVファイルをインプットとして読み込むことが考えられますので、CSVファイルからデータを取得する際の方法をまとめました。 使用データ 今回は、政府CIOポー...
目的 オープンソースのBIツール「Pentaho」のインストール手順と基本的な設定項目を整理する。 注意点(2021/9/18追記) 本ページのPentahoインストール手順については少々古いた...
目的 Pentaho Data Integration (PDI) の最新版であるバージョン9.2が2021年6月にリリースされていたことに気がついたので、改めてインストール方法を整理しました。...
PDIはPentahoのETLツールですので、データ統合用のツールとして、DBからデータを取得するという状況がよくあります。 ということで、DBからデータを取得する際の方法を簡単にまとめてみまし...
PDIは手元で実行する際にはSpoonでそのまま実行することが多いのですが、バッチ的にCronやタスクスケジューラーで実行したいという質問をよくされるので、まとめておきました。 バッチ実行用のス...
PDIの操作方法の中で、日付の計算方法をよく聞かれるので、まとめておきました。 計算方法 やり方は色々ありますが、Calculatorステップ(計算ステップ)を使用するのが一番簡単です。 代表的...
はじめに PDIでなるべくリアルタイムに近いタイミングで処理を行ないたいというリクエストがあったので、Pentaho8から実装された「Kafka Consumer」ステップを検証してみました。 ...
Pentaho Repositoryとは Pentahoのバージョン7系以降、Community版(無償版)で、Pentaho Repositoryという機能が使用可能になりました。 バージョン...
はじめに PentahoのETLツールであるPDIでKdb+へ接続できるかの検証メモです。 Kdb+はカラム型の時系列DBのようです。今回の趣旨はPDIからKdb+へ接続できるかなので、Kdb+...
目的 オープンソースのBIツール「Pentaho」のETLツールであるPDI(Pentaho Data Integration)のインストール手順と基本的な設定項目を整理する。 PDIって? 目...
経緯など Pentaho Data Integartion(PDI)上で形態素解析する必要があったので調査とメモ。 PDIがJavaで実装されているため呼び出しやすいようにJavaの形態素解析器...
17 search resultsShowing 1~17 results
Qiita is a knowledge sharing service for engineers.