More than 5 years have passed since last update.

HiveでApacheのcommon log formatの日付をparseする

Posted at 2013-12-02

Hiveにapacheなりnginxなりのログを生のまま突っ込んでクエリを投げたい時に、日付の部分をparseする方法

組み込みのunix_timestampではJavaのSimpleDateFormatのパターンを指定してparseする機能があるのでこれを利用する。

SELECT
    unix_timestamp(time, 'dd/MMM/yyyy:HH:mm:ss Z')
from
    apache_logs;