今回はVectorと言うpipelineツールについて自社での事例（少しだけ）を交えながら紹介します。

Vectorとは

https://vector.dev/

一言で言うとRust製の超速く軽量なパイプラインツールです。
類似のツールで言うとfluendやlogstashがこれにあたります。
公式サイトを見てもらうのが一番わかりやすいと思いますが簡単に説明するため概要を説明していきます。

自作のプラグインを使うのは現段階ではまだ難しそうなのでそういうケースではfluentdなどを選択するのが良さそうです。

※以下の画像は公式サイトから引用しています。

概念図

Sources
Transforms
Sinks

という３つのセクションに分かれてます。

Sources

Sourcesはファイル、標準出力、HTTP、外部のクラウドサービスなどを監視してVector上のデータとして入力します。

Transforms

Transformsはその名の通りSourcesで取り込んだデータを加工します。
フィルタをかけたりログをパースしてJSONに変換したりタグを追加したり削除したりできます。
正規表現をサポートしているのでアプリケーションで実装されているオリジナルログもパースして個別のパラメータとして扱えます。

Sinks

SinksはTransformsで加工したデータを様々なDBに保存したりファイルに保存することを行います。
一通りのDBに対応しているのとinfluxdb2.0やclickhouseに対応しているのが良いですね。

他ツールとの比較

ファイルの監視については一通りの機能を揃えています。

パフォーマンスについて

https://vector.dev/#performance

CPU

Memory

I/O

File To TCP、TCP To Backhole、TCP To HTTPでのI/Oは一位です。
CPUはそこそこですがMemoryについても上位に入っています。
全体的な傾向としては省メモリでI/O性能が高いようです。

インストール方法

各OS向けにパッケージ化されていて簡単にインストールできます。（以下はUbuntuの例）

Ubuntuの場合はdebパッケージがあるのでそれを登録してインストールするだけです。

サンプルとしてansibleのtaskを載せておきます。

- name: Download .deb package
  get_url:
    url: https://packages.timber.io/vector/0.10.X/vector-amd64.deb
    dest: /tmp/vector-amd64.deb
  tags:
    - install

- name: Install package
  apt:
    deb: /tmp/vector-amd64.deb
  tags:
    - install

- name: put config template
  template:
    src: vector.toml.j2  # 後述します
    dest: /etc/vector/vector.toml
  notify:
    - Reload vector  # handlersに設定する必要あり

- name: add adm group to vector user
  user:
    name: vector
    groups: adm
    append: yes  # nginxのログを監視するため

- name: Start Vector
  systemd:
    name: vector
    state: started
    enabled: yes

設定ファイルについて

toml形式で設定します。
最初に説明したSources, Transforms, Sinksのセクションに分かれており簡単に設定することが出来ます。

Link-Uでの事例

nginxのアクセスログ（ltsv形式）をinfluxdb2.0に保存します。

nginx

ltsvの設定は以下のような感じです。

log_format ltsv 'time:$time_iso8601\t'
                'status:$status\t'
                'remote_addr:$remote_addr\t'
                'request_method:$request_method\t'
                'request_uri:$request_uri\t'
                'host:$host\t'
                'request_time:$request_time\t'
                'bytes_sent:$bytes_sent\t'
                'referer:$http_referer\t'
                'useragent:$http_user_agent\t'
                'app_info:$upstream_http_x_app_info';

app_infoはアプリケーションから返すパラメータを出力する設定で入れています。

Sources

[sources.nginx_log_api]
  # General
  type = "file" # required
  ignore_older = 86400 # optional, no default, seconds
  include = ["/var/log/nginx/api.log"] # required
  exclude = ["/var/log/nginx/error.log", "/var/log/nginx/*.log-*"] # required
  start_at_beginning = false # optional, default

includeで特定のファイルを指定しているのでexcludeの中身は不要ですが説明の為に入れています。

Transforms

ltsv形式をパースするため正規表現を頑張って書きます。
Typesでは想定する型を指定します。
（metricに変換しているのは当時influxdbの場合当時それが必要だった為。）

[transforms.nginx_parser_api]
  type = "regex_parser"
  inputs = ["nginx_log_api"]
  regex = "^time:(?P<timestamp>[^\\t]+)\\tstatus:(?P<status>\\d+)\\tremote_addr:(?P<remote_addr>[^\\t]+)\\trequest_method:(?P<request_method>\\w+)\\trequest_uri:(?P<request_uri>[^\\t]+)\\thost:(?P<host>[^\\t]+)\\trequest_time:(?P<request_time>[^\\t]+)\\tbytes_sent:(?P<bytes_sent>[^\\t]+)\\treferer:(?P<referer>[^\\t]+)\\tuseragent(?P<useragent>[^\\t]+)\\tapp_info:(?P<app_info>[^\\t]+)$"
  drop_field = true
  field = "message"

  # Types
  types.timestamp = "timestamp|%Y-%m-%dT%H:%M:%S%z"
  types.status = "int"
  types.remote_addr = "string"
  types.request_method = "string"
  types.request_uri = "string"
  types.host = "string"
  types.request_time = "float"
  types.bytes_sent = "int"
  types.referer = "string"
  types.useragent = "string"

[transforms.nginx_parser_to_metric]
  type = "log_to_metric"
  inputs = ["nginx_parser_api"]

  [[transforms.nginx_parser_to_metric.metrics]]
    type = "gauge"
    field = "request_time"
    tags.status = "{% raw %}{{status}}{% endraw %}"
    tags.host = "{% raw %}{{remote_addr}}{% endraw %}"
    tags.request_method = "{% raw %}{{request_method}}{% endraw %}"
    tags.request_uri = "{% raw %}{{request_uri}}{% endraw %}"
    tags.host = "{% raw %}{{host}}{% endraw %}"
    tags.referer = "{% raw %}{{referer}}{% endraw %}"
    tags.useragent = "{% raw %}{{useragent}}{% endraw %}"

Sinks

ansibleのテンプレートで設定ファイルは管理しているので一部変数化されています。

[sinks.influxdb]
  # General
  type = "influxdb_metrics"
  inputs = ["nginx_parser_to_metric"]
  endpoint = "http://{{ influxdb_endpoint }}:8086"
  namespace = "nginx"
  bucket = "{{ influxdb_bucket_name }}"
  healthcheck = true

  # Auth
  org = "Link-U"
  token = "{{ influxdb_auth_token }}"

まとめ

以下の図は一時間毎に叩かれたAPIの数です。
サンプルデータの為グラフの変化が少ないですがinfluxdb2.0で可視化した場合API単位で数を出すことができます。
他にも時間単位別のAPIの平均レスポンス速度や最速、最遅タイムを出すなどアクセスログに存在しているパラメータから数字を出すことができます。

Vectorを使うと手間をかけずに簡単にデータを可視化することが出来ます。
fluentdを使っているところは多そうですが、省メモリという点でこれからはVectorも選択肢に挙がってくるかもしれません。