More than 3 years have passed since last update.

Azure Data Factory （Azure Syanpse Analytics pipeline）のコピーアクティビティにてAvro形式の日付型等（論理型）に関する注意事項

Last updated at 2021-04-16Posted at 2021-04-16

概要

Azure Data Factory （Azure Syanpse Analytics pipeline）のコピーアクティビティにて、Avroファイルの日付型を含む論理型（Logical Types）が利用ができないそうです。データフローでは利用できるそうなので、コピーアクティビティ以外の代替案の検討が必要です。

Avroの日付型

Avroのドキュメントを参照すると、日付型はプリミティブ（基本データ）型には含まれておらず、論理型に分類されている旨が記載されております。

引用元：Apache Avro™ 1.10.2 Specification

Azure Data Factory （Azure Syanpse Analytics pipeline）のドキュメント

ドキュメントにて、下記のように複合データ型がサポートされていないとの記載があり、論理型に関する記載はないのですが同様にサポートされていないようです。

Avro の複合データ型はサポートされていません

引用元：Azure Data Factory での Avro 形式 - Azure Data Factory | Microsoft Docs

同じドキュメントにて、データフローであれば複合データ型がサポートされているとの記載があり、論理型に関する記載はないのですが同様にサポートされているようです。

データフローで Avro ファイルを使用する場合は、複合データ型の読み取りと書き込みを行うことができますが

引用元：Azure Data Factory での Avro 形式 - Azure Data Factory | Microsoft Docs

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up