2024下半期 これから取り組んでいきたいこと

自己紹介

はじめまして、都内でデータエンジニアをしております、s_rokuemonと申します。
これまで個人で開発してきたことや、これからやりたいこと、学んだことなどを備忘録的に整理するために、ブログをはじめました。
読んでくださった皆さんの興味関心にヒットするような内容があれば嬉しいです。

やりたいこと

近々触ってみたい技術や取り組んでみたいテーマについて整理する、まずはこれを初めての記事にしようと思います。

Snowflake × IaC × CICD　× dbt

• Deploying a Streamlit app / snow snowpark deploy

  • Snowflake CLIを利用したStreamlit AppやSnowpark上のオブジェクトのコマンドを利用したCICDの構築
    • https://docs.snowflake.com/en/developer-guide/snowflake-cli-v2/streamlit-apps/manage-apps/deploy-app
    • https://docs.snowflake.com/en/developer-guide/snowflake-cli-v2/command-reference/snowpark-commands/deploy

• コスト管理

  • dbtパッケージ：dbt-snowflake-monitoring を利用したコストの可視化
    • https://select.dev/docs/dbt-snowflake-monitoring
    • https://select.dev/docs/dbt-snowflake-monitoring/quickstart

• Snowpark Container Services

  • コンテナベースアプリの構築とsnow snowpark deployを利用したCICDの構築
    • https://docs.snowflake.com/ja/developer-guide/snowpark-container-services/overview

• Functional + Access Role ModelとTerraform

  • 公式ドキュメントでも言及されているロールの設計思想についてIaCを利用し構築
    • https://registry.terraform.io/providers/Snowflake-Labs/snowflake/latest/docs
    • https://medium.com/snowflake/a-functional-approach-for-snowflakes-role-based-access-controls-5f0e84e80146
    • https://docs.snowflake.com/en/user-guide/security-access-control-considerations#aligning-object-access-with-business-functions

dbt × visualize

• tableauから dbt Semantic Layerを介してMetricsを参照する
  • https://docs.getdbt.com/docs/cloud-integrations/semantic-layer/tableau

最後に

新しい技術にチャレンジしながら、難しい点や躓いた点など、自分なりに実践してみて整理していければと思います。
同じ課題感を持つ読者の方に、何か一つでも参考になる内容があればよいな、と思います。
これからよろしくお願いします。