LoginSignup
0
0

More than 3 years have passed since last update.

Azure Synapse Analytics の共有メタデータ テーブルでサポートしているSparkテーブルの形式について

Last updated at Posted at 2020-06-23

注意点

本情報は、2020年6月23日時点での情報であり、最新情報は、Microsoftドキュメントを参照してください。

概要

Qiitaの別記事にて記述した本件ですが、下記記事についてややわかりにくい表現があり、誤解した同僚がいたので備忘録

Azure Synapse Analytics では、さまざまなワークスペース計算エンジンが、Spark プール (プレビュー) と SQL オンデマンド エンジン (プレビュー) の間でデータベースとテーブルを共有できます。

引用元:Azure Synapse Analytics の共有メタデータ

誤解した点

ドキュメントにて、下記の記載があっため、

SQL エンジンを使用して Parquet 形式でデータを格納するマネージドおよび外部 Spark テーブルのみが共有されます。

引用元:SQL での Spark テーブルの公開

下記のように解釈されたようです。

  • Parquet 形式でデータを格納するマネージドテーブル
  • 外部 Spark テーブル

ただ、英語のドキュメントに下記の記載があるため、

only shares managed and external Spark tables that store their data in Parquet format with the SQL engines.

引用元:Exposing a Spark table in SQL

正しくは下記の解釈となります。句読点があれば違ったかもしれませんね

  • Parquet 形式でデータを格納するマネージドテーブル
  • Parquet 形式でデータを格納する外部 Spark テーブル

所感

とりあえずdocsのほうはプルリクなげましたが、英語版のドキュメントも合わせて確認すべきであると再認識しました。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0