More than 3 years have passed since last update.

Elasticsearch > Logstash > TSVを読む

Posted at 2020-12-16

pipeline config file(logstash.conf)を以下のように設定する

方法1

columnsにカラム名を設定する

logstash.con

input {
  file {
    path => ["/usr/share/logstash/data-path/*"]
    start_position => "beginning"
  }
}


filter {
  csv{
    separator => "	" # tab文字をセット,`\t`をセットしてはいけない    
    columns => ["column1", "column1", "column3"] # ファイルの1行目と同じカラム名と列数にする必要あり
    skip_header => false
    skip_empty_rows => true
    skip_empty_columns => true
    remove_field => "message"
  }
}

output {
  stdout {codec => rubydebug }
}

方法2

カラム名を設定せずにautodetect_column_namesをTrueにして自動検出する
※ ファイル内の行処理順が保証されないので、logstash.ymlに設定を追加する必要がある。

logstash.con

input {
  file {
    path => ["/usr/share/logstash/data-path/*"]
    start_position => "beginning"
  }
}


filter {
  csv{
    separator => "	" # tab文字をセット,`\t`をセットしてはいけない    
    autodetect_column_names => true
    skip_header => false
    skip_empty_rows => true
    skip_empty_columns => true
    remove_field => "message"
  }
}

output {
  stdout {codec => rubydebug }
}

logstash.yml