1.6月〜実装内容
今回は分析基盤構築・ダッシュボード作成・MLパイプライン構築
3つの開発を同時におこなっていきたいと思っております。
2.6月開発内容
こちらが詳細のアーキテクチャ図になります。
2.1 テーブル更新のアーキテクチャ図
GCPのPub/Subというメッセージングサービスを使って、テーブルをCloud Storgeにあるデータを紐づけることが可能になっています。
また、snowpipeとPub/subを用いることで、CloudstorageにJSONファイルが入ったことをトリガーとして、テーブルが自動的に更新されるようになっています。
ここで一点問題点が発生してしまい、URSERT INTOなどの複雑なSQLはSnowpipeではできず、設計の変更点としてCOPYINTOでまずはその日のTempテーブルを作成し、
その後に元のテーブルにMERGE INTOをすれば良いのではと思い、実装。
結果、うまくいくことができた。これらを管理するために、Snow TaskでそれぞれのSQLの実行をスケジューリングすることにした。
以上の処理から、Tableau上のダッシュボードが常に最新のものとなった。
最近流行りのSnowflakeになります
2.2 ダッシュボード構築
こちらはダッシュボード構築になります。
CloudStorageに画像データを保存させ、Snowflakeとリンクすることで、Tableau上で画像の表示を行いました。結果、どの月にどの商品が売れたかが画像を通して見ることができます。
また、レコメンドエンジンで知られるリフト値というものを算出し、アイテム間の関係性を見ることも行いました。
