LoginSignup
542
511

Fluentdのバッチ版Embulk(エンバルク)のまとめ

Last updated at Posted at 2015-02-16

Embulk(エンバルク)


(2016/10/05からロゴが変わりました。変更理由)

Embulkのまとめ2ndを作ってます。

Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。

更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。

2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています

種類 バージョン
安定版 0.11.X
開発版 0.10.X

ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう

2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。

この記事は、Embulkってなに?、どんなプラグインがあるの?、どうやって独自プラグインを開発するの?ということをまとめたページです。内容は随時更新する予定です。

色々な情報が一カ所にまとまっているといいなということでまとめました。参考になれば幸いです。

間違い等ありましたら教えてください。

初めてEmbulkを使う人は、2~4をまでご覧ください。

1. 関連イベント

  • ログ収集&分析基盤セミナーをトレジャーデータが不定期に開催しています。トレジャーデータが開発するログ収集ツール「Fluentd」「Embulk」のご紹介と、その技術を使った「Treasure CDP」を、IoTプロジェクトの事例とともにご紹介します!

2. Embulkとは

2.1. 古橋さんのブログ等から

2.2. そのほか紹介記事

3. Embulkを使ってみる

3.1. インストール

Embulk 0.11.xの場合

Embulk v0.11 でなにが変わるのか: ユーザーの皆様へ をご一読ください。

Embulk 0.9.xの場合

3.2 アップデート

embulk selfupdateコマンドで最新のバージョンにアップデートすることができます。(0.6.7以降)

0.7.3以降は、embulk selfupdate x.y.zで指定したバージョンにアップデートできます。(ダウングレードもできます。)

3.3. サンプルの実行

3.4 Google Group

  • Embulk announce 開発チームからのアナウンス専用で一般投稿はできません。互換性等の通知が要りそうな情報を流します。流量は極小 (2017/10/6)~

3.4 書籍・雑誌

4. コマンド詳細と様々なプラグイン

使い方がわかったらコマンドの詳細を確認し、色々なプラグインを試してみましょう。

5. 使用例・注意点

5.1 使用例

5.2 注意点・TIPS

6. 他の方のまとめ

7. イベントで紹介されたEmbulk

これからEmbulkを紹介する方は、プレゼン用のアイコンが公開されています。

8. プラグインの開発

自分でプラグインを書こうと思っているひとはこのあたりを参考にしましょう。なおEmbulk 0.4から、プラグインジェネレータが利用できるようになりました。

9. 内部構成

内部構成について知りたい方はソースコードリーディングをしているかたがいらっしゃるようです。

10. Tips

11. Embulkについて書かれたブログ等の記事

12. その他

13. 過去のやりとり

14. いつかプラグインレシピを作る時の参考リンク

542
511
3

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
542
511