embulkのテンポラリディレクトリとしてjava.io.tmpdirを参照している。
そのため、下記のコマンドで変更可能。

embulk "-J -Djava.io.tmpdir=tmp/" run test.yml

実行中はjrubyのファイルとかができる

[tmp] ls
jruby-51186

それとは別にplugin側でテンポラリディレクトリを持つことがある。

例えば、embulk-output-td: https://github.com/treasure-data/embulk-output-td#configuration
tmpdir: temporal directory (string, optional) if set to null, plugin will use directory that could get from System.property

参照するパラメータ違うため、別途yml内で指定する必要がある。