BigQueryにtsvのログファイルを送っているけど、そのカラムを突如として増やしたくなったとします。そういうことは割とあります。
その場合は以下の手順で行えばよいです。
- BigQueryの管理画面でnullableなカラムを増やす
-
bq loadのオプションに--allow_jagged_rowsをつけて、カラムも増やす - 保存するログファイルの形式を変更する
こうすることでカラムが存在したり、しなかったりするログファイルでも問題無く処理できます。カラムが存在しなければnullになるだけなので問題ありません。
意外と簡単にできるのでカジュアルにやっていきましょう。