3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

ZOZOAdvent Calendar 2023

Day 18

BigQueryストリーミングインサートしているテーブルをコピーする

Last updated at Posted at 2023-12-17

BigQueryでテーブルをコピーするためには以下のような方法があります。

しかし、ストリーミングインサートをしているテーブルに対してこの方法を使う場合は注意が必要です。

例えば、以下のテーブルの行数は通常のストレージに存在する18,606,187行とストリーミングバッファに存在する858,098行の合計である19,464,285行です。

スクリーンショット_2023-12-07_8_49_38.png

通常のテーブルコピーをするとストリーミングバッファの行数がコピーされず、18,606,187行のみがコピー対象になります。
そのため、ストリーミングインサートをしているテーブル場合は以下のような方法でコピーする必要があります。

create table <destination table> as select * from <source table>;

ただし、この方法は通常のテーブルコピーと異なり、スキャン料金が発生したり(オンデマンドの場合)、QUERY用のBigQueryのSlotを消費したり(Editionsの場合)するため、その点に注意が必要です。

3
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?