はじめに
前回の記事では，semantic-model-generatorを使用してセマンティックモデルのYAMLファイルを生成する方法について紹介した．今回は，そのYAMLファイルを入力として活用し，より実用的なデータカタログを自動生成する改良版について解説する．
改良版の特徴
主な改善点
- YAMLファイルの直接活用: semantic-model-generatorで生成されたYAMLファイルを直接入力として使用
- 設定の柔軟性向上: 環境に応じた設定変更
- ローカル実行対応: 閉域でのSnowflake環境で実行可能
実装方法
1. 環境設定
まず，プログラムの設定部分を環境に合わせて変更する必要がある．
# 設定: 出力先データベース、スキーマ、テーブル名を指定
OUTPUT_DATABASE = "OUTPUT_DATABASE" #環境に合わせて書き換え
OUTPUT_SCHEMA = "OUTPUT_SCHEMA" #環境に合わせて書き換え
OUTPUT_TABLE = "OUTPUT_TABLE" #環境に合わせて書き換え
# ステージ情報の設定
SOURCE_DATABASE = "SOURCE_DATABASE" #環境に合わせて書き換え
SOURCE_SCHEMA = "SOURCE_SCHEMA" #環境に合わせて書き換え
SOURCE_STAGE = "SOURCE_STAGE" #環境に合わせて書き換え
SOURCE_FILE = "XXXX.yaml" #環境に合わせて書き換え
これらの設定値は，semantic-model-generatorの環境構築時に作成したSnowflake環境と対応している．具体的には，create_snowflake_objects_local.sqlで定義したデータベース，スキーマ，ステージ情報と一致させる必要がある．
例えば，create_snowflake_objects_local.sqlで以下のように定義している場合：
-- データベースとスキーマの作成例
CREATE DATABASE IF NOT EXISTS CORTEX_ANALYST_LOCAL;
CREATE SCHEMA IF NOT EXISTS CORTEX_ANALYST_LOCAL.cortex_analyst;
-- ステージの作成例
CREATE STAGE IF NOT EXISTS CORTEX_ANALYST_LOCAL.cortex_analyst.raw_data;
対応するPython設定は以下のようになる：
SOURCE_DATABASE = "CORTEX_ANALYST_LOCAL"
SOURCE_SCHEMA = "cortex_analyst"
SOURCE_STAGE = "raw_data"
SOURCE_FILE = "semantic_model.yaml" # アップロードしたYAMLファイル名
2. YAMLファイルの準備
semantic-model-generatorで生成されたYAMLファイルを，指定したSnowflakeステージにアップロードする．
3. プログラムの実行
改良版プログラムでは，以下の流れでデータカタログを生成する：
ステップ1: YAMLファイルの読み込み
def load_yaml_from_stage():
"""ステージからYAMLファイルを読み込み"""
query = f"""
SELECT parse_json($1) as yaml_content
FROM @{SOURCE_DATABASE}.{SOURCE_SCHEMA}.{SOURCE_STAGE}/{SOURCE_FILE}
"""
return session.sql(query).collect()
ステップ2: メタデータの解析
def parse_semantic_model(yaml_content):
"""セマンティックモデルのYAMLを解析してメタデータを抽出"""
models = []
for model in yaml_content.get('semantic_models', []):
model_info = {
'model_name': model.get('name'),
'description': model.get('description', ''),
'entities': model.get('entities', []),
'dimensions': model.get('dimensions', []),
'measures': model.get('measures', [])
}
models.append(model_info)
return models
ステップ3: データカタログテーブルの生成
def create_catalog_table(catalog_data):
"""解析したメタデータからカタログテーブルを作成"""
df = pd.DataFrame(catalog_data)
# Snowflakeテーブルとして保存
session.write_pandas(
df,
table_name=OUTPUT_TABLE,
database=OUTPUT_DATABASE,
schema=OUTPUT_SCHEMA,
auto_create_table=True,
overwrite=True
)
出力結果
まとめ
semantic-model-generatorのYAMLファイルを活用した改良版データカタログ生成について紹介した．今回紹介した改良版システムを活用することで，閉域環境においても，より効率的なデータ管理とガバナンスの実現が期待できる．