Pythonで潜在クラス分析ができる！Stepmixの使い方
はじめに カテゴリカルな変数で記述されるデータがあるとき、どのようなクラス（グループ）があるかを確認したい場合、一つの方法として 潜在クラス分析 (LCA) と呼ばれる統計手法があります。 以前...
1
1
Comment0
20 search resultsShowing 1~20 results
Stocked
You need to log-in
Pythonのlinearmodelsで操作変数法による因果推論を実施する
はじめに マーケティング施策が実際に効果があったか因果関係を推論したい場合は、介入を行うのが好ましいです。例えば、プッシュ通知を送るなど施策を実施する人達と実施しない人達に分けて、それぞれのグル...
15
16
Comment0
質的（カテゴリカルな）な特徴量があるときのクラスタリング手法とPythonでの実装について
はじめに データからどのようなグループがあるかを教師なしで分析する手法として、クラスタリング分析があります。k-meansなどのアルゴリズムが有名ですが、これは特徴量が量的（連続する数値）の時に...
19
26
Comment1
LaLondeデータセットに対して EConMLのDoubly Robust 推定を使って因果推論
はじめに 前回書いた記事LaLondeデータセットに対し傾向スコア（IPW）をPythonで実装して因果推論では、就労支援の効果に関する（人為的に作り出した）観察データであるLaLondeデータ...
1
1
Comment0
LaLondeデータセットに対し傾向スコア（IPW）をPythonで実装して因果推論
はじめに 最近（2022年）のデータサイエンス周りでは、因果推論がホットな話題の一つになっています。私は現時点で高度な因果推論を実務で行うことはあまりないのですが、今後施策の効果検証などを高度な...
0
0
Comment0
Pythonを使ってロジスティック回帰の統計的検定:低体重児研究を例にstatsmodelsで係数の有意性とモデルの適合度を確認する
はじめに ロジスティック回帰に関する２本目の記事です。 前の１本目の記事では、交絡因子や交互作用を理解するため、人工的なデータを使いました。交絡因子や交互作用といた用語になじみのない方は、この拙...
0
0
Comment0
データ解析のための統計モデリング入門 7章 教科書中の図をPythonで再現してみた
はじめに 個体差などを考慮してデータをモデリングするためには、一般化線形モデルを拡張して、**一般化線形混合モデル（Generalized Linear Mixed Model, 以降GLMMと...
3
2
Comment0
Pythonのstatsmodelsで時系列データをトレンド、季節性、残差に分解する
はじめに 指標の時系列変化をプロットして確認するとき、原系列をそのまま示すのではなく、トレンドと季節性の成分に分解した結果も合わせて示すと理解が深まります。 このトレンドと季節性の分解する方法は...
20
16
Comment0
Pythonを使ってロジスティック回帰の統計的検定:statsmodelsを使って交絡因子や交互作用項を検討する
はじめに 動機 仕事でロジスティック回帰を久しぶりに実施することになりました。 この仕事では、単に精度がよい分類モデルを作るのではなく、係数の有意性などを確認し、分類に本当に効いている変数は何か...
4
7
Comment0
PyMC3を使ってベイズ推定、テストデータ(out-of-sample)に対する検証を実施する
はじめに 今度、マーケティング的な分析もすることになりそうです。私は今までベイズ推定をさわり程度に勉強してきましたが、実務でも使う機会が出てきそうです。時間的に余裕がある今のうちに勉強して手を動...
12
10
Comment0
不均衡データの取り扱い：Python機械学習の説明がさらっとしていたので、ちょっと深掘りした
はじめに クラスごとの件数割合に大きな違いがある不均衡データを扱う機会が、私は割としょっちゅうあります。正常データはたくさんあるが、異常データは少ししかない状況はよくあります。 今までは実務で同...
9
9
Comment0
Windows10でのPyMC3インストールについて：きちんとオリジナルの手順を確認しましょう
PyMC3のインストールでドツボったので、メモしておきます。 要は公式のGitHubをきちんと読みましょうということです。 環境 windows10 64bit anaconda3 2021/5...
1
2
Comment0
時系列性を持つデータに対するLightGBM予測モデルをhyperoptでパラメータチューニングした：結果の再現とn_estimatorsを整数型にするのにハマった件
はじめに python機械学習の6章には、GridSearchによるハイパーパラメータチューニングの方法は載っていました。 やはり、ベイズ最適化によるハイパーパラメータチューニングもおさえておき...
7
10
Comment0
One Shot Learning : KerasでSiamise Networkを作りOminiglotデータセットを使って動かしてみる( on collaboratory)
はじめに 人間は一度学習すると、これに基づいて予測できます。 一方で、機械学習やディープラーニングは教師データが少ししか手に入らない場合は、なかなかうまく予測できません。 人間の様に、１つ、ある...
2
6
Comment0
KerasでCIFAR-10画像データセットの分類モデルを作る：ResNetでテキスト通りにやったら精度がでなかった
はじめに CNNなどディープラーニングを使って、CIFAR-10データセットを分類するモデルをいくつか作ってみました。 この記事では、純粋にモデルアーキテクチャの違いによる性能を評価したいので、...
2
2
Comment0
Autoencoderのバリエーション② Deep AutoencoderとConvolutional Autoencoder
初めに AutoEncoderの手法を纏める２本目の記事です。１本目はAutoencoderのバリエーション①です。 この記事では前回同様に全結合層を使い、層の数を増やしたDeep Autoen...
1
4
Comment0
画像に関する主成分分析① 次元圧縮
はじめに 主成分分析を使って、画像データの傾向を掴んだり、前景と背景に分離することになりました。 勉強したことを備忘のためにもここに書いていきます。 この記事で扱う内容 pythonのsciki...
11
14
Comment0
Python scikit-learnで実施した決定木の結果を可視化する
PCを新しくして、決定木を初めてやろうとしたら、可視化する環境にする方法を忘れていて少し時間がかかってしまいました。ここに、自分用の備忘メモの意味を込めて記載します。 graphvizの公式ペー...
2
2
Comment0
Autoencoderのバリエーション①
はじめに Autoencoderと本稿をメモする動機 Autoencoderは深層学習で重要な手法の一つになっています。Autoencoderはデータを教師なし（正確には自己学習）で圧縮する手法...
9
10
Comment0
Google Colaboratoryを使ってMNISTデータの学習などをやってみる①
はじめに 前から気になっていたGoogle Colaboratoryを使ってみることにしました。 最初とはいえ、多少は実践的なことをしたいので、MNISTデータを使ったCNNモデルの作成と、LI...
4
4
Comment0
20 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles