SQLをテストする

テスト、書いてますか？

私の担当業務の1つに、データマートの構築があります。
分析しやすいような分析用テーブルをいくつかのSQLを元に作っているのですが、元データ自体のバリデーションが弱かったり、ビジネスロジックが複雑ゆえ、論理エラーが多く発生していました。

そこで、Pythonのunittestライブラリを活用したテストを現在は導入しています。

良かったこと

テストを書くことで、枕を高くして寝れるようになりました。

具体的には、
- 過去指摘された論理エラーをテストに組み込むことで再発防止になる
- 別テーブルで発生した論理エラーが起きそうなテーブルに、同じテストを組み込む
- 将来発生しうるリスクに対して予めテストを仕込んでおく

といった取り組みができており、アウトプットの品質向上につながっています。

unittestとは

Pythonにおける標準のユニットテストフレームワークです。
テストの自動化、テストのセットアップおよびシャットダウンコードの共有、テストのコレクションへの集約、レポートフレームワークからのテストの独立性などを提供しています。
25.3. unittest — Unit testing framework — Python 2.7.17 documentation

テストのセットアップ

下記のように、setUpModule()関数を作れば、特別な呼び出し不要でセットアップが可能です。
今回はテストを実行したいcreate tableするSQLをここで呼び出して、実際にテーブルを作成しています。
このとき、本メソッドは単にテーブルを作るだけでなく、prefixとしてtest_をつけるようにしています。

def setUpModule():
    print("Setting up…")
    test_table_name = test_util.generate_test_table(executing_file_name)

実行したいテストの記述

このように、事項したいテストをtest_hogeという形式で記述します。
setUpModule()によって作られたテスト用テーブルに対して集計をかけるSQLを記述しておいて、それを呼び出します。
結果は真偽値で返ってくるようにすることで、最後のself.assertTrue()で一律で判定しています。
ここは、より複雑な判定方法も取ること可能ですが、今回はロジックをSQL側に持たせて関心を分離しています。

class TestQuery(unittest.TestCase):
    def test_mrr_growth(self):
        query = test_util.get_query_by_execution_info(executing_file_name, sys._getframe().f_code.co_name)
        rows = test_util.get_result_in_dataframe(query)
        actual = rows.iloc[0][0]
        self.assertTrue(actual)

    def test_gap_between_new_and_old_less_than_n(self):
        query = test_util.get_query_by_execution_info(executing_file_name, sys._getframe().f_code.co_name)
        rows = test_util.get_result_in_dataframe(query)
        actual = rows.iloc[0][0]
        self.assertTrue(actual)

    def test_uniqueness(self):
        query = test_util.get_query_by_execution_info(executing_file_name, sys._getframe().f_code.co_name)
        rows = test_util.get_result_in_dataframe(query)
        actual = rows.iloc[0][0]
        self.assertTrue(actual)

テストのシャットダウン

最後に環境を汚さないよう、テーブルを削除して完了です。

def tearDownModule():
    test_util.delete_test_table(test_table_name)
    print("Tear down.")

工夫

このようにシンプルに扱うために、上記ではtest_utilという独自ライブラリを作成しています。
これは実装しているSQLスクリプトをよしなに扱うためのスクリプトです。
今回コードは公開しませんが、上記のように各create tableスクリプトに対するテストが、シンプルに書けるような設計にしておくと良いでしょう。