Fluentdのバッチ版Embulk(エンバルク)のまとめ

  • 314
    いいね
  • 0
    コメント

Embulk(エンバルク)


(2016/10/05からロゴが変わりました。変更理由)

更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。
Download Gem Version

2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。

この記事は、Embulkってなに?、どんなプラグインがあるの?、どうやって独自プラグインを開発するの?ということをまとめたページです。内容は随時更新する予定です。

色々な情報が一カ所にまとまっているといいなということでまとめました。参考になれば幸いです。

間違い等ありましたら教えてください。

初めてEmbulkを使う人は、2~4をまでご覧ください。

1. 関連イベント

  • ログ収集&分析基盤セミナーをトレジャーデータが定期開催中です。トレジャーデータが開発するログ収集ツール「Fluentd」「Embulk」のご紹介と、その技術を使った「Treasure DMP」を、IoTプロジェクトの事例とともにご紹介

    • 2017年4月25日(火) 14:00~15:30
    • 2017年5月16日(火) 14:00~15:30
    • 2017年5月30日(火) 14:00~15:30
  • 2017/5/16(火) Embulk Meetup Tokyo #3 が開催されます。

2. Embulkとは

2.1. 古橋さんのブログ等から

2.2. そのほか紹介記事

3. Embulkを使ってみる

3.1. インストール

3.2 アップデート

embulk selfudpateコマンドで最新のバージョンにアップデートすることができます。(0.6.7以降)

0.7.3以降は、embulk selfupdate x.y.zで指定したバージョンにアップデートできます。(ダウングレードもできます。)

3.3. サンプルの実行

3.4 書籍・雑誌

4. コマンド詳細と様々なプラグイン

使い方がわかったらコマンドの詳細を確認し、色々なプラグインを試してみましょう。

5. 使用例・注意点

5.1 使用例

5.2 注意点・TIPS

6. 他の方のまとめ

7. イベントで紹介されたEmbulk

8. プラグインの開発

自分でプラグインを書こうと思っているひとはこのあたりを参考にしましょう。なおEmbulk 0.4から、プラグインジェネレータが利用できるようになりました。

9. 内部構成

内部構成について知りたい方はソースコードリーディングをしているかたがいらっしゃるようです。

10. Tips

11. Embulkについて書かれたブログ等の記事

12. その他

13. 過去のやりとり