LoginSignup
3
0

(小ネタ) BigQuery にでっかいデータを突っ込む際の注意点

Last updated at Posted at 2023-12-15

サマリ

コンソールでクエリを実行した際、でっかいデータを含む行以降の結果が省略されます。

状況

以下のようなスキーマのテーブルがあったとして

スクリーンショット 2023-12-15 18.06.25.png

以下のようなデータが入っているとします。
スキーマに記載の通り content は長さが length の文字列になっています。

length content
1 a
10 aaaaaaaaaa
100 aaaaaaaaaa......
1,000 aaaaaaaaaa......
10,000 aaaaaaaaaa......
100,000 aaaaaaaaaa......
1,000,000 aaaaaaaaaa......
10,000,000 aaaaaaaaaa......
100,000,000 aaaaaaaaaa......

ここで以下のようなクエリをコンソールから実行すると

select length, content from test_table;

以下画像のように Showing fewer rows per page because the rows are large. という Warning が表示され、length10,000,000 より大きい行の表示が切り捨てられます。

スクリーンショット 2023-12-15 18.20.55.png

P.S.

表示は切り捨てられるものの、クエリは実行できているみたいです。
5,500,000 文字くらいまでは切り捨てられずに表示できそうでした。

3
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
0