SerDeとは

Last updated at 2024-08-16Posted at 2024-08-16

「SerDe」とは、シリアライズ（serialize）およびデシリアライズ（deserialize） を行うためのライブラリです。これにより、データを特定の形式に変換して保存したり、保存されたデータを元の形式に戻したりすることができます。

AthenaでSerDeを使う

Athenaで利用できるSerDeは以下。

ライブラリ名: com.amazonaws.athena.serde.IonHiveSerDe
説明: Amazon IonはJSONのスーパーセットで、リッチタイプの自己記述データ形式です。

ライブラリ名: org.apache.hadoop.hive.serde2.avro.AvroSerDe
説明: Apache AvroはJSONベースのスキーマを使用するデータ形式で、Hadoopにデータを保存するために使用されます。

ライブラリ名: org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe
説明: Apache Parquetは列指向のストレージ形式で、Hadoopのデータを効率的に保存します。

ライブラリ名: com.amazonaws.glue.serde.GrokSerDe
説明: Grokパターンを使用して、LogstashログやApache WebServerログなどのデータを解析します。

ライブラリ名: org.apache.hadoop.hive.serde2.RegexSerDe
説明: 正規表現を使用してデータを解析します。

ライブラリ名: org.apache.hive.hcatalog.data.JsonSerDe
説明: JSON形式のデータを処理します。

ライブラリ名: org.apache.hadoop.hive.serde2.OpenCSVSerde
説明: CSVデータを処理します。

ライブラリ名: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe
説明: CSV、TSV、カスタム区切りファイルのデータを処理します。

ライブラリ名: org.apache.hadoop.hive.ql.io.orc.OrcSerde
説明: ORC（Optimized Row Columnar）形式のデータを処理します。