WITH句を3ステップに分けることでSQLのメンテナンス性を高めよう
複雑な分析要件に対応するSQLクエリは、しばしば長大化し、理解やメンテナンスが難しくなることがあります。しかし、SQLのWITH句（CTE: Common Table Expression、共通...
2
1
Comment0
29 search resultsShowing 1~20 results
Stocked
You need to log-in
データソースの例外的な変更に対する dbt snapshot の挙動検証と復旧・検知方法の整理
はじめに dbt snapshot を使うと、プロダクト側の改修を行わずとも、データベースの履歴（スナップショット）を記録することができます。 参考）公式の紹介記事 スナップショットはSCDタイ...
4
0
Comment0
プロダクトをまたいだクロスセルの施策効果を見積もるためのデータ分析パターン
この記事について この記事はdatatech-jp Advent Calendar 2024の12月7日分として記載しています はじめに 私たちは、マーケティング施策や新規機能開発など、業務の中...
3
0
Comment0
Lookerでは同じデータを dimension と measure に分けて実装しよう
データ分析において、データはディメンション（分析軸）としてもファクト（指標）としても使われることがあります。 そのため、データソースが同じ1列だから、Looker でもそのまま dimensio...
4
4
Comment0
分厚いjoinを複数のexploreに継承して保守性を高める
TL;DR 以下の手順を踏むと、元のexploreの全てのjoinを継承し、ベーステーブルのみを差し替えられる いずれかを選択する a. 継承元のexploreにおいて、ベーステーブルをview...
2
0
Comment0
緩やかに変化する値を遡って分析したい
TL;DL データマネジメントにおいて、緩やかに変化する値は"Slowly Changing Dimension"と呼ばれる アプリケーション側のDBが値を上書きする仕様になっていた場合、過去の...
3
2
Comment0
データマネジメント・データ分析に役立つ情報をまとめる
これは何 データマネジメント・データ分析に関する書籍・記事・ツールをまとめます。 特に価値が高いと思う書籍・記事を上に並べています。 どのような分野が存在するのか概観します。 全て読むのは大変な...
100
124
Comment0
2値分類モデルの予測値を確率として使用する際にはCalibrationが必要
2値分類モデルの予測値を確率として使用する際はCalibrationを行う必要があるらしいので調べました。 概要 Calibrationとは 広告のクリック率(CTR)予測など、2値分類モデルの...
16
15
Comment0
A/Bテストにおける効果の確からしさを導出する
A/Bテストを行う際、施策を打ったことによる効果を推定するだけでなく、推定値がどれだけ信頼出来るものなのかを計算することはとても重要です。 そこで、効果の推定誤差と信頼区間を導出します。 例) ...
36
51
Comment1
カルマンフィルタ・予測・平滑化で状態を逐次推定する
はじめに 状態空間モデルにおいて状態を逐次的に推定する有名な手法の1つにカルマンフィルタというものがあります。 カルマンフィルタなどを用いて出来る事・概要・手順・numpyを用いた行列実装をまと...
95
98
Comment4
UNNESTを利用してパターン毎の処理を短く記述する
これは何 UNNESTの複数の使い方を組み合わせることで、SQLを大幅に短く書く方法を紹介します。 課題設定 ユーザーu毎に2列のパターンt1,t2と値vを持つログがあるとします。 ユーザー×パ...
2
0
Comment0
stanで離散時間ロジスティック回帰モデルを実装する
TL;DR 共変量が時変の生存時間分析を行いたい場合、離散時間ロジスティック回帰という手法を使うことが出来ます。 離散時間ロジスティック回帰の紹介と、stanによる実装を行います。 始めに 大学...
3
2
Comment0
WindowsクラウドGPUサーバーを使って、お手軽にvket4に遊びに行くための方法
HMDもWindowsPCもつよつよグラボも何も持っていない人が、WindowsクラウドGPUサーバーを使ってvket4に遊びに行くためのやり方をまとめます。 所要時間は30分~1時間ほどです。...
2
1
Comment0
pip3ベースでデータサイエンス環境を作るためのDockerfile
やること データサイエンス用のDockerコンテナといえばjupyter公式が配布しているscipy-notebookがありますが、Dockerfileを見るとcondaベースで書かれています。...
7
9
Comment0
pip3のパッケージを一括でアップデートするためのシェルスクリプト
pip3のパッケージをワンライナーで雑に一括アップデート出来なかったので、シェルスクリプトを書きました。 実行後にpip3 checkで依存関係を確認しましょう。 # !/bin/zsh # 更...
1
0
Comment2
令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ
初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは...
572
620
Comment1
任意のディレクトリ群の中のファイル数を数え上げるシェルスクリプト
普段シェルスクリプトを書かないのでメモっておく "d"で始まって"1"か"2"で終わる全てのディレクトリの中にある全てのファイルを数え上げる n_files=0 for dir_name in ...
1
0
Comment0
TensorFlow Core+TensorBoardを計算科学のツールとしてしっかり使う
初めに TensorFlowと言えばDeepLearningのためのフレームワーク...というだけではなく、実際のところ、TFはもっと色々な事が出来ます。 モデルの式を定義して、損失を定義して、...
3
2
Comment0
カルマンフィルタを使って時系列に対する回帰問題を解く
初めに 「個々の施策が売り上げにどの程度影響しているか」「個々の媒体への出稿が流入数にどの程度影響しているか」など、時系列の説明変数を用いて時系列の被説明変数を説明したい場面は多々あると思います...
11
9
Comment3
MeCabとnetworkXを使って共起ネットワークを書いたのでコードをメモっておく
はじめに 文書においてある単語が出現したとき、その文章中に別の限られた単語が頻繁に出現する事を共起と言います。 文章中からその文章を特徴付ける単語を抽出し、特徴語同士の共起関係をネットワーク図に...
21
20
Comment0
29 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles