BigQueryにASSERT文が来た
2020-07-13 UTC以降、ASSERT文がサポートされました。
検証結果がTRUEであることを検証できます。
ERROR関数に次いで、2番目のDebugging系の機能です。
2020-07-14 10:36 JST現在、US以外のロケーションではサポートされていないようです。
Debuggingのおさらい
BigQueryには、従来ERROR関数があり、ないべき値はERROR関数で記述することができました。
新たにリリースされたASSERT文は、文であり、あるべき値をASSERT文で記述できるようになりました。
ASSERTの使い方
ASSERT文は、あるべき状態を検証します。プログラミングのASSERTのように、TRUEでない式が評価された場合にエラーを発生させます。ただし、デバッグレベルを調整して無視するような機能は今のところBigQueryにはないです。
文ですので、SELECT文と同じレベルで記述します。
エラーメッセージ付きASSERT
ASSERTの後に、BOOLを返す式を入れます。ASでエラー時のメッセージを記述します。
メッセージは文字列リテラルである必要があり、Scriptingから変数を入れることはできません（EXECUTE_IMMEDIATEを除く）。
ASSERT
(
SELECT
LOGICAL_AND(x > 0)
FROM
UNNEST([1,-1]) AS x) AS 'x > 0'
エラーはこのように出ます。
x > 0
式がFALSEかNULLを返す場合エラーになります。
メッセージ省略ASSERT
メッセージは省略可能ですが、見返すことを考えると意味の分かるメッセージを入れておくことが推奨されます。
ASSERT 0 = 1
エラーはこのように出ます。
An internal error occurred and the request could not be completed. Error: 3144498
ASSERTの注意点
ASSERT文はキャッシュされません。同一の文を複数回実行したり、Scriptingで繰り返したりしても、毎回参照料金がかかります。
ERRORの使い方
ERROR関数は、あってはならない状態を検証します。
ERROR関数が評価されたタイミングでエラーを発生させます。
関数ですので、SELECT文の中で記述します。
IF関数やCASE式とセットで使ったり、存在しないことをSELECT ERRORで確認に使うことが多いです。
エラーメッセージ付きERROR
SELECT
*
FROM
UNNEST([-1])x
WHERE
IF
(x > 0,
TRUE,
ERROR(FORMAT('Error: x must be positive but is %t', x)));
エラーはこのように出ます。
Error: x must be positive but is -1
エラーメッセージ省略ERROR
引数は省略できませんが、空文字列を入れることができます。
SELECT
ERROR('')
An internal error occurred and the request could not be completed. Error: 3144498
NULLを入れると別なエラーになります。
SELECT
ERROR(NULL)
Input to ERROR function must not be NULL
ASSERTとERRORの違いまとめ
- ASSERTはあるべき状態を、ERRORはないべき状態を記述する
- ASSERTは文、ERRORは関数
- ASSERTは引数がFALSEかNULLだとエラー、ERRORは評価されると、エラー
- ASSERTは文字列リテラル（実行前評価）、ERRORは文字列（実行時評価）をエラーメッセージにする
- ASSERTはキャッシュされない、ERRORはキャッシュされる
使い所
ASSERT
データの全体感のチェックに使うと良さそうです。Scriptingでプロシージャにして、データの定期健康診断にしても良いですね。
- UNIQUE制約を満たしているか
- 外部キー制約を満たす割合は妥当か
- 中央値平均値、パーセンタイルは妥当か
- TrainingデータとServingデータに乖離がないか
- データがテストデータと完全一致しているか（ユニットテスト）
ERROR
データの個別行のチェックに使うと良さそうです。EL(Extract/Load)やT(Transform)に混ぜ込んで、ワークフローの健康診断に使っても良いですね。
- データに値域異常がないか
- 外部キー制約を満たしているか
- データの行内依存関係を壊す異常がないか（最大値列と最小値列が逆になっていないか）
- 関数が想定の動作をしているか（ユニットテスト）
まとめ
BigQueryのDebugging機能にASSERT文が仲間入りして、データのあるべき状態を検証しやすくなりました。ワークフロー系ツールと相性が良さそうですので、通知系まで組み入れてデータの健康診断をちょくちょく出来ると良いですね。