1.6月〜実装内容

今回は分析基盤構築・ダッシュボード作成・MLパイプライン構築
3つの開発を同時におこなっていきたいと思っております。

2.6月開発内容

こちらが詳細のアーキテクチャ図になります。

2.1 テーブル更新のアーキテクチャ図

GCPのPub/Subというメッセージングサービスを使って、テーブルをCloud Storgeにあるデータを紐づけることが可能になっています。
また、snowpipeとPub/subを用いることで、CloudstorageにJSONファイルが入ったことをトリガーとして、テーブルが自動的に更新されるようになっています。
ここで一点問題点が発生してしまい、URSERT INTOなどの複雑なSQLはSnowpipeではできず、設計の変更点としてCOPYINTOでまずはその日のTempテーブルを作成し、
その後に元のテーブルにMERGE INTOをすれば良いのではと思い、実装。
結果、うまくいくことができた。これらを管理するために、Snow TaskでそれぞれのSQLの実行をスケジューリングすることにした。

以上の処理から、Tableau上のダッシュボードが常に最新のものとなった。

最近流行りのSnowflakeになります

2.2 ダッシュボード構築

こちらはダッシュボード構築になります。
CloudStorageに画像データを保存させ、Snowflakeとリンクすることで、Tableau上で画像の表示を行いました。結果、どの月にどの商品が売れたかが画像を通して見ることができます。

また、レコメンドエンジンで知られるリフト値というものを算出し、アイテム間の関係性を見ることも行いました。