Help us understand the problem. What is going on with this article?

kiesisからkinesisへ

気がついたら仕事納めまであと約1週間
上京して仕事をしている皆様、新幹線の指定席は取れましたでしょうか?
私は取れなかったのでデッキで立ちながら帰ることになりました。orz
それではパーソンリンクアドベントカレンダー22日目になります。

はじめに

今回、私が書くのは業務で扱ったシステムの流れ図、苦労した点などを書きたいと思います。
各サービスの説明をしているといくら時間があっても足らないので詳しい仕様などは省いていきたいと思います。
なおこれから説明していくものは全てAWSのEC2上にインストールしているものです。

システムの流れ図


上記の流れ図を業務で実装しました。全て苦労しましたがその中でも特に苦労したfluentdについての実際に使用したプラグインの説明と苦労した点、良かった点を書いていこうと思います。

実際に書いた処理の説明

 fluentdへの入力はfluent-plugin-in-kinesisを使用しました。こちらは名前の通りkinesisにデータの投入があった場合にそれを入力として受け取ることができます。
 次にfluentdの出力先なんですが今回はkinesisのデータが圧縮されているとのことだったのでfluentdのデータを外部のプログラムに渡すことができるexecという標準のプラグインを使用しました。こちらはデータをファイルとして
外部のプログラムに渡すことで引数として任意の処理で扱うことができます。今回はこれで圧縮されていたデータを解凍することができました。

fluentdで苦労した点

 fluetdの理解

 業務で扱う前まで「fluentd? 何それ おいしいの?」ってレベルでしたが調べていくうちになんとか分かるレベルになることができました。学習コストは高いほうだと思うので業務で触ることができ自分の武器にすることができてよかったと思います。

 バージョンによっては動かないプラグイン

 今回、使用したプラグインは
・fluent-plugin-in-kiesis
の他に標準プラグインである
・exec
なのですが、バージョンが違うとどれか1つが動かなかったりしたので全てが動くバージョンを見つけるのが大変でした。
最終的にはnpmが保管されているサイトがあったのでそこからインストールすることで解決することができました。

fluentdのよかった点

管理が楽

そのままの意味です。本当に楽でした。

プラグインが豊富

 仕様の中で ここはこうして欲しい があったのですが、プラグインが豊富なおかげで1度も無理ということはありませんでした。プラグインを作っていただいた方には感謝しかありません。

終わりに

 今回の業務ではプログラムを書くというよりも環境構築の色が強く出ていました。プログラムを書くのも楽しいのですが
私はクラウドサービスをいじっている方が楽しいと感じたのでクラウドサービスを自分の武器にしていきたいと思います。
ひん

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away