Help us understand the problem. What is going on with this article?

Fluentdのバッチ版Embulk(エンバルク)のまとめ

Embulk(エンバルク)


(2016/10/05からロゴが変わりました。変更理由)
Download

更新時にコメントを書くようにしました。変更内容に興味のある方は編集履歴をご覧ください。

2018年1月30日リリースのembulk 0.9からgemは提供されなくなりました。gem版は0.8.39までとなっています

種類 バージョン
安定版 0.9.23
開発版 0.10.X

ロゴの下のバージョンは開発版の最新バージョンを表しています。一般の方は0.9系を利用しましょう

2015年1月27日、Fluentdのメインコミッターの一人古橋さんが中心となって開発した、fluentdのバッチ版のようなツールEmbulk(エンバルク)がリリースされました。

この記事は、Embulkってなに?、どんなプラグインがあるの?、どうやって独自プラグインを開発するの?ということをまとめたページです。内容は随時更新する予定です。

色々な情報が一カ所にまとまっているといいなということでまとめました。参考になれば幸いです。

間違い等ありましたら教えてください。

初めてEmbulkを使う人は、2~4をまでご覧ください。

1. 関連イベント

  • ログ収集&分析基盤セミナーをトレジャーデータが不定期に開催しています。トレジャーデータが開発するログ収集ツール「Fluentd」「Embulk」のご紹介と、その技術を使った「Treasure CDP」を、IoTプロジェクトの事例とともにご紹介します!

2. Embulkとは

2.1. 古橋さんのブログ等から

2.2. そのほか紹介記事

3. Embulkを使ってみる

3.1. インストール

3.2 アップデート

embulk selfupdateコマンドで最新のバージョンにアップデートすることができます。(0.6.7以降)

0.7.3以降は、embulk selfupdate x.y.zで指定したバージョンにアップデートできます。(ダウングレードもできます。)

3.3. サンプルの実行

3.4 Google Group

  • Embulk announce 開発チームからのアナウンス専用で一般投稿はできません。互換性等の通知が要りそうな情報を流します。流量は極小 (2017/10/6)~

3.4 書籍・雑誌

4. コマンド詳細と様々なプラグイン

使い方がわかったらコマンドの詳細を確認し、色々なプラグインを試してみましょう。

5. 使用例・注意点

5.1 使用例

5.2 注意点・TIPS

6. 他の方のまとめ

7. イベントで紹介されたEmbulk

これからEmbulkを紹介する方は、プレゼン用のアイコンが公開されています。

8. プラグインの開発

自分でプラグインを書こうと思っているひとはこのあたりを参考にしましょう。なおEmbulk 0.4から、プラグインジェネレータが利用できるようになりました。

9. 内部構成

内部構成について知りたい方はソースコードリーディングをしているかたがいらっしゃるようです。

10. Tips

11. Embulkについて書かれたブログ等の記事

12. その他

13. 過去のやりとり

14. いつかプラグインレシピを作る時の参考リンク

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした