前置き
こんにちは。データエンジニアの山口歩夢です！
先日、以下のイベントで登壇をしました！
こちらの記事では、登壇スライドとソースコードの共有させていただきます。
登壇の内容
StreamlitとTerraformでメタデータの自動更新機能付きのデータカタログを自作したことについてお話をしました！
機能について
どんな機能のデータカタログなのかをご説明させて頂きます！
データカタログの機能
ドロップダウンで検索
データベース、スキーマ、テーブルをドロップダウンで検索すると、
以下のように、テーブルの概要が表示されます。
カラムの概要やプレビューも表示されます。
テキストボックスで検索
テキストボックスに文字列を入力してエンターを押すと、
テーブルの概要に検索がかけられます。
ちなみにカラムやテーブルの概要は、SnowflakeのCOMMENTを表示させております！
メタデータ自動更新の機能
TerraformとGitHub Actionsを使って、メタデータの管理や自動更新をする機能を実装しました！
詳細は別の記事に書いてありますので、こちらをご覧ください。
スライドも公開！
上記に書いた内容ですが、詳細に記載したスライドを公開しております。
実装方法もスライドに書いてありますので、是非ご覧ください！
サンプルコード
ソースコードの公開もさせていただいております🫡
$ git cloneをして、環境構築をすることで簡単にご導入いただけるようにさせて頂きました！
環境構築の方法もREADMEに記載しております。
まとめ
まず、この度は登壇にお誘いいただき、誠にありがとうございました
以前からデータカタログを自作していたのですが、メタデータの管理に課題がありました。
TerraformとGitHub Actionsを使って、メタデータ管理が効率化されたので非常に良かったと思っております。
採用
GENDAデータチームではプロダクトのデータ解析や機械学習プロジェクトを推進できるデータサイエンティストを募集しています。
興味を持っていただけましたら、是非ご連絡いただけると幸いです！