LoginSignup
3
2

More than 5 years have passed since last update.

Bluemix:簡易ETLサービスDataConnectでジョブのスケジューラ実行を試してみた

Last updated at Posted at 2016-08-22

サービスの名前が変わったようなので、タイトルだけ名前変えてます
旧:DataWorks
新:DataConnect

Dataworks、いろいろクリックするといろいろオプションが出てくるので、便利そうだなと思いながら少しずつ試しています。

今回は、ETLジョブ(データコピーのジョブ)を即時じゃなくてスケジューラ実行してみました。

前提

即時実行したときの記録はこちら。
Dataworksの基本的な使い方もここに載せてますので適宜ご参照あれ。。
http://qiita.com/azzeten/items/a0b604c67d993387ff5e

どうやってスケジューラ実行をする?

以下では「RUN」をすぐに選択してますが、
今回はその左横の「SCHEDULE」をクリック!!
スクリーンショット 2016-08-22 18.44.34.png

何ができる?その1

時刻を指定して、その時刻になったら自動でジョブ実行
素直なパターンとしてはこちら。純粋に時刻を設定すればOK。
スクリーンショット 2016-08-22 18.46.50.png

何ができる?その2

1分毎、など定期間隔でジョブを延々実行することが可能
上記キャプチャの下のほうに、うすーく
Schedule this activity to repeat と書いてあります・・(見つけづらい。。)
これをクリックすると以下のような画面が出現します。
スクリーンショット 2016-08-19 10.50.34.png

・何分ごとに実行しますか?
・いつまでそれを続けますか?
などを指定してあげることが可能です。

これを活用して何が実現できるか考えてみた(個人の感想)

・単純なバッチ的なデータ移動
 →月1回、古くなったデータを移動する。
 →OLTP系のDBに集めたデータ(たとえばPostgreSQLに溜まったデータ)を、データ分析者が使うデータベース(たとえばdashDB)に毎日コピーしてあげる
 →日次でバックアップ的にデータを移したい

 などなど。

・データベースのレプリケーション的に
 →2つデータベースがあって、共通に使いたい表はレプリケーションさせたい。
 などなど。

 最短だと1分毎にジョブ実行できるようなので、1分のディレイはありますが、ゆるーいレプリケーションとしては要件によっては使えるかも?

3
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
2