0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 3 years have passed since last update.

Azure Synapse Apache Spark PoolsにてDelta Lake形式のテーブルに対するSHOW CREATE TABLE実行時のエラー

Last updated at Posted at 2021-11-17

概要

Azure Synapse Apache Spark PoolsにてDelta Lake形式のテーブルに対して、SHOW CREATE TABLEを実行すると下記のエラーが発生しますが、Sparkの仕様に基づく事象であることから2020年11月17日時点(Spark ver.3.1)では対応方法がありません。

image.png

SHOW CREATE TABLE is not supported for v2 tables.

SparkのGithubにて下記の記載がありました。Delta Lake形式のテーブルは、v2であることからSHOW CREATE TABLEは非対応法のようです。

Note that SHOW CREATE TABLE works only with a v1 table and a permanent view, and not supported for v2 tables.

引用元:[SPARK-33414][SQL] Migrate SHOW CREATE TABLE command to use UnresolvedTableOrView to resolve the identifier by imback82 · Pull Request #30321 · apache/spark (github.com)

Spark ver.3.2以降では、サポートされるようです。

image.png
引用元:[SPARK-33898] Support SHOW CREATE TABLE in v2 - ASF JIRA (apache.org)

Databricksでは、delta lake形式のテーブルでもSHOW CREATE TABLEを実行できることから、Databricksのエッジ機能として実装されているようです。

image.png

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?