replace 中の embulk の動きを途中で止めると、tmp テーブルが残る

久々の投稿です :)
最近、embulk でいくつかハマったので、メモ的なものを残していこうと思います。

環境

embulk-output-oracleを使いました。

tmp テーブルが残る

そのまんまなのですけど、

...
out:
  type: oracle
  mode: replace
  ...

で、途中で処理をキャンセルすると、xxxxx_tmp みたいなテーブルが残ってしまいます。

replace は何が起こってるのか

mode: replace は、テーブルのデータをまるごと入れ替えたい時に使います。
公式には、下記の説明があります。

Behavior: This mode writes rows to an intermediate table first. If all those tasks run correctly, drops the target table and alters the name of the intermediate table into the target table name.

中間テーブルを作って、データを入れ終わったら、古いテーブルを drop し、中間テーブルの名前を対象のテーブル名に書き換えるとのこと。
なので、途中でやめてしまうと、中間テーブルである tmp テーブルが残ってしまいます。
なるほど。

どうするか

今のところ、地道に drop していくしかなさそうです・・。

おまけ

処理が全て終わると、過去のデータがテーブルごと削除されるわけですが、oracle の場合、データそのものはゴミ箱に残り続けるので、定期的に purge してあげる必要がありそうです。

PURGE RECYCLEBIN ;

参考：テーブル削除と削除の取り消し

余談

リソースを見てて気づいたんですけど、oracle に書き込み中の embulk を途中で止めると、TCP Error が大量に発生します。
セッションを強制終了してるから？