Help us understand the problem. What is going on with this article?

replace 中の embulk の動きを途中で止めると、tmp テーブルが残る

More than 3 years have passed since last update.

久々の投稿です :)
最近、embulk でいくつかハマったので、メモ的なものを残していこうと思います。

環境

embulk-output-oracleを使いました。

tmp テーブルが残る

そのまんまなのですけど、

...
out:
  type: oracle
  mode: replace
  ...

で、途中で処理をキャンセルすると、xxxxx_tmp みたいなテーブルが残ってしまいます。

replace は何が起こってるのか

mode: replace は、テーブルのデータをまるごと入れ替えたい時に使います。
公式には、下記の説明があります。

Behavior: This mode writes rows to an intermediate table first. If all those tasks run correctly, drops the target table and alters the name of the intermediate table into the target table name.

中間テーブルを作って、データを入れ終わったら、古いテーブルを drop し、中間テーブルの名前を対象のテーブル名に書き換えるとのこと。
なので、途中でやめてしまうと、中間テーブルである tmp テーブルが残ってしまいます。
なるほど。

どうするか

今のところ、地道に drop していくしかなさそうです・・。

おまけ

処理が全て終わると、過去のデータがテーブルごと削除されるわけですが、oracle の場合、データそのものはゴミ箱に残り続けるので、定期的に purge してあげる必要がありそうです。

PURGE RECYCLEBIN ;

参考:テーブル削除と削除の取り消し

余談

リソースを見てて気づいたんですけど、oracle に書き込み中の embulk を途中で止めると、TCP Error が大量に発生します。
セッションを強制終了してるから?

ukisoft
まったり developer です。python と js を使うことが多いです。
rymansat
普段は宇宙開発に関わっていないサラリーマンが身近で誰でもできる宇宙開発を実現させることがリーマンサット・プロジェクト(Ryman Sat Project=rsp.)の目的です。キューブサットの開発をはじめ、宇宙を軸として様々なコミュニティやクリエイターとコラボレーションし、民間宇宙開発に関するネットワークを強化、拡張することを目指して活動しています。
https://www.rymansat.com/
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした