Fluentdのバッチ版Embulk(エンバルク)のまとめ


Embulk(エンバルク)



(2016/10/05からロゴが変わりました。変更理由)

更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。

Download Gem Version

2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています

2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。

この記事は、Embulkってなに?、どんなプラグインがあるの?、どうやって独自プラグインを開発するの?ということをまとめたページです。内容は随時更新する予定です。

色々な情報が一カ所にまとまっているといいなということでまとめました。参考になれば幸いです。

間違い等ありましたら教えてください。

初めてEmbulkを使う人は、2~4をまでご覧ください。


1. 関連イベント



  • ログ収集&分析基盤セミナーをトレジャーデータが不定期に開催しています。トレジャーデータが開発するログ収集ツール「Fluentd」「Embulk」のご紹介と、その技術を使った「Treasure CDP」を、IoTプロジェクトの事例とともにご紹介します!


2. Embulkとは


2.1. 古橋さんのブログ等から


2.2. そのほか紹介記事


3. Embulkを使ってみる


3.1. インストール


3.2 アップデート

embulk selfupdateコマンドで最新のバージョンにアップデートすることができます。(0.6.7以降)

0.7.3以降は、embulk selfupdate x.y.zで指定したバージョンにアップデートできます。(ダウングレードもできます。)


3.3. サンプルの実行


3.4 Google Group



  • Embulk announce 開発チームからのアナウンス専用で一般投稿はできません。互換性等の通知が要りそうな情報を流します。流量は極小 (2017/10/6)~


3.4 書籍・雑誌


4. コマンド詳細と様々なプラグイン

使い方がわかったらコマンドの詳細を確認し、色々なプラグインを試してみましょう。


5. 使用例・注意点


5.1 使用例


5.2 注意点・TIPS


6. 他の方のまとめ


7. イベントで紹介されたEmbulk

これからEmbulkを紹介する方は、プレゼン用のアイコンが公開されています。


8. プラグインの開発

自分でプラグインを書こうと思っているひとはこのあたりを参考にしましょう。なおEmbulk 0.4から、プラグインジェネレータが利用できるようになりました。


9. 内部構成

内部構成について知りたい方はソースコードリーディングをしているかたがいらっしゃるようです。


10. Tips


11. Embulkについて書かれたブログ等の記事


12. その他


13. 過去のやりとり