ごあいさつ
こんにちは。日鉄ソリューションズ株式会社のhayashitaniです。
私が所属している組織では製造業のお客様向けに、データ基盤構築、データガバナンスコンサルなどを支援させていただいております。
今回は、記事でコメントをいただいた
Snowflakeの日本語ビュー・日本語カラムのテクニカルメタデータをOpenMetadataに取得できるのか？？ を検証したいと思います。
（コメントをいただきありがとうございます！）
本記事は#1 テクニカルメタデータの取得の補足版となります。
これまでの投稿については以下のリンクをご参照ください。
| no | 概要 |
|---|---|
| # | データカタログ概要 |
| 1 | Snowflakeのテクニカルメタデータをデータカタログに取得する |
| 補足 | Snowflakeの日本語table・view・columnをクローリングしてみる★本記事 |
| 2 | Snowflakeの実データをサンプルとしてデータカタログに登録する |
| # | ビジネスメタデータをデータカタログに登録する |
| # | データカタログの検索機能を触ってみる |
| # | リネージをデータカタログに登録する |
| # | Snowflakeの利用情報をデータカタログに登録する |
| # | 用語をデータカタログに登録する |
| # | プロファイリング情報をデータカタログに登録する |
| # | データカタログで品質テストを行う |
| # | データカタログで品質テストを行う |
本投稿の内容は私個人の意見であり、組織の見解を代表するものではありません。
メタデータの概要については以下に投稿を行っています。
前提
- OpenMetadataがインストール済み（本記事では、１．６．１バージョンを利用）
- Snowflakeアカウントを利用可能
- ブラウザを利用可能（本記事では、Chromeを利用）
日本語table・view・column準備
Snowflakeで以下の日本語のカラムを持つ日本語のテーブル、ビューを作成します
-- 日本語テーブル作成
CREATE OR REPLACE TABLE DB_DATACATALOG_SOL.WORK."社員テーブル" (
"従業員ID" INT NOT NULL,
"職位" VARCHAR(50) NOT NULL,
"採用日" DATE NOT NULL,
"退職フラグ" INT NOT NULL,
PRIMARY KEY ("従業員ID")
);
※必要なDB、スキーマは事前に作成が必要です
-- 日本語ビュー作成
CREATE OR REPLACE VIEW DB_DATACATALOG_SOL.WORK."社員ビュー" AS
SELECT
BUSINESSENTITYID AS "従業員ID",
JOBTITLE AS "職位",
HIREDATE AS "採用日",
CURRENTFLAG AS "退職フラグ",
FROM
DB_DATACATALOG_SOL.DL.EMPLOYEE;
※必要なDB、スキーマ、参照元テーブルは事前に作成が必要です
テクニカルメタデータ取得
#1 Snowflakeのテクニカルメタデータをデータカタログに取得する の方法でテクニカルメタデータの取得を行います
結果
スキーマのページ
Snowflakeのスキーマに追加した、日本語テーブル「社員テーブル」と日本語ビュー「社員ビュー」が追加されました
テーブルのページ
テーブルの日本語カラムも取得できました
ビューのページ
ビューの日本語カラムも取得できました
最後に
日本語のテーブル、ビュー、カラムについても、英語の時と同様にテクニカルメタデータを取得できることが確認できました。
データカタログのためにテーブル定義やビュー定義を変更するのは現実的ではありません。そのため、日本語に対応していない場合、データカタログにテクニカルメタデータを登録するのを諦めることになるかもしれません。
しかし、OpenMetadataは日本語にも対応しているため、データベース上のテーブルやビュー、カラムの言語（日本語・英語）を気にせずに登録できそうです。
今回はいただいたコメントを参考に検証を行ってみました。
企業においては、テーブル名、ビュー名、カラム名が日本語で定義されているケースもあると思うので（特にビューは多いのではないでしょうか？？）、本検証の結果が多くの方々のご参考になれば幸いです。
本記事についてご不明点、ご質問事項等があれば、コメントをお願いいたします。
また、本分野に関してご興味を持っていただけた方がいらっしゃれば、お気軽にお問い合わせください。