機械学習 まとめ

##教師あり学習（回帰）
#####scikit-learnの機械学習でボストン市の住宅価格の中央値を推定する
https://kumagoroblog.com/blog/2019/03/26/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AAscikit-learn-%E3%82%92%E4%BD%BF%E3%81%A3%E3%81%A6%E3%81%BF%E3%81%9F2/

##正則化

#####【機械学習】LPノルムってなんだっけ？
https://qiita.com/kenmatsu4/items/cecb466437da33df2870

#####【Python/scikit-learn】ロジスティック回帰の使い方（L1・L2正則化で過学習の改善・防止）
https://algorithm.joho.info/programming/python/scikit-learn-logistic-regression-over-fitting/

Lasso回帰とRidge回帰：
以下の二つの記事で、なぜLasso回帰（L1正則化）のときスパースになるかわかる。

#####罰則付き・正則化回帰モデルについて
http://jojoshin.hatenablog.com/entry/2016/07/06/180923

#####【初学者向け】L1正則化をわかりやすく解説【なぜスパースか】
https://mathmatical22.xyz/2019/09/26/%e3%80%90%e5%88%9d%e5%ad%a6%e8%80%85%e5%90%91%e3%81%91%e3%80%91l1%e6%ad%a3%e5%89%87%e5%8c%96%e3%82%92%e3%82%8f%e3%81%8b%e3%82%8a%e3%82%84%e3%81%99%e3%81%8f%e8%a7%a3%e8%aa%ac%e3%80%90%e3%81%aa%e3%81%9c/

#####超入門！リッジ回帰・Lasso回帰・Elastic Netの基本と特徴をサクッと理解！
https://aizine.ai/ridge-lasso-elasticnet/

##教師あり学習（分類）
#####ロジスティック回帰
https://istat.co.jp/ta_commentary/logistic

#####scikit-learnの機械学習でロジスティック回帰を行い癌の陽性を判断する
https://newtechnologylifestyle.net/scikitlean_logistic/

#####k-NN(k近傍法)とk平均法の違いと詳細
https://qiita.com/NoriakiOshita/items/698056cb74819624461f#k%E5%B9%B3%E5%9D%87%E6%B3%95%E3%82%92%E6%95%B0%E5%BC%8F%E3%81%A7%E7%90%86%E8%A7%A3

##次元削減
#####ワインのサンプルデータを使用したPCA（主成分分析）によるデータの次元圧縮
http://neuro-educator.com/ml21/

##教師なし学習
#####KMeans、MiniBatch-Kmeans（クラスタ分析）
（KMeansを使用し、3つの異なる品種のブドウから作られたワインをプロリンの量と色から分類する）
http://neuro-educator.com/ml9/

#####K平均法
https://ja.wikipedia.org/wiki/K%E5%B9%B3%E5%9D%87%E6%B3%95

#####k-meansよりもちょっとイケてるk-means++
https://qiita.com/NoriakiOshita/items/cbd46d907d196efe64a3

#####DBSCANクラスタリングの解説と実験
http://data-analysis-stats.jp/2019/09/13/dbscan%E3%82%AF%E3%83%A9%E3%82%B9%E3%82%BF%E3%83%BC%E3%81%AE%E8%A7%A3%E8%AA%AC%E3%81%A8%E5%AE%9F%E9%A8%93/

#####DBSCAN
https://ja.wikipedia.org/wiki/DBSCAN

#####scikit-learnでDBSCAN(クラスタリング)
https://qiita.com/takechanman1228/items/c7f23873c087630bab18

##交差検証
#####一流の「ものさし」職人になろう　Cross Validation (交差検証)を深堀り
https://qiita.com/Hatomugi/items/620c1bc757266b00e87f

#####nested k-fold cross validation
https://qiita.com/Okadandan/items/7a7ddf8cda2721de1054

#####クロスバリデーションとグリッドサーチ(備忘録)
https://qiita.com/Takayoshi_Makabe/items/d35eed0c3064b495a08b

##ブースティング

#####Gradient Boostingについて調べたのでまとめる
https://www.st-hakky-blog.com/entry/2017/08/08/092031

##その他

#####不均衡データに対するClassification
https://qiita.com/ryouta0506/items/619d9ac0d80f8c0aed92

#####ROC
https://ja.wikipedia.org/wiki/%E5%8F%97%E4%BF%A1%E8%80%85%E6%93%8D%E4%BD%9C%E7%89%B9%E6%80%A7

#####scikit-learnでROC曲線とそのAUCを算出
https://note.nkmk.me/python-sklearn-roc-curve-auc-score/

#####【機械学習】RFEを用いた特徴量の選別
https://qiita.com/nanairoGlasses/items/d7d4c190d11ba663635d

ソフトクラスタリング：データが複数のクラスタに属することを許す方法

##プログラミング系

#####pandas の loc、iloc、ix の違い – python
http://ailaby.com/lox_iloc_ix/

#####NumPy配列ndarrayを一次元化（平坦化）するravelとflatten
https://note.nkmk.me/python-numpy-ravel-flatten/

#####pandasでカテゴリ変数をダミー変数に変換（get_dummies）
https://note.nkmk.me/python-pandas-get-dummies/

欠損値：

#####pandasで欠損値NaNが含まれているか判定、個数をカウント
https://note.nkmk.me/python-pandas-nan-judge-count/

#####欠損値を含むデータセットの前処理について
https://qiita.com/Ryu_I_Engineer/items/c67aef976c21ba95d8d1

#####pythonで欠損値を平均で埋める
(fillna / Imputer)
https://www.marsa-blog.com/2019/07/statisticsarticle2.html#p4-1

データ変換：

#####Category Encodersでカテゴリ特徴量をストレスなく変換する
https://qiita.com/Hyperion13fleet/items/afa49a84bd5db65ffc31

#####scikit-learnの複数列にわたるラベルエンコーディング
https://www.it-swarm.net/ja/python/scikitlearn%E3%81%AE%E8%A4%87%E6%95%B0%E5%88%97%E3%81%AB%E3%82%8F%E3%81%9F%E3%82%8B%E3%83%A9%E3%83%99%E3%83%AB%E3%82%A8%E3%83%B3%E3%82%B3%E3%83%BC%E3%83%87%E3%82%A3%E3%83%B3%E3%82%B0/1047131289/

#####scikit-learnを使って業務CSVデータをOne Hot Vectorに変換する
https://qiita.com/makaishi2/items/8e6e47bd2da036939a8f

#####kaggle/titanic 欠損値の補完と特徴量エンジニアリング
https://qiita.com/xxx_boy/items/36e4f6f52e0aad116649

データ分割：

#####train_test_split関数でデータ分割
https://docs.pyq.jp/python/machine_learning/tips/train_test_split.html

パイプライン：

#####機械学習／分類モデルの性能評価を行ってみる
https://qiita.com/jun40vn/items/6870f8f574d1dac51547

#####sklearnのPipelineを使うとコードをシンプルに書けるらしい
https://qiita.com/mida12251141/items/da9a97acf3ee7e896fb1

#####Python: scikit-learn の Pipeline を使ってみる
https://blog.amedama.jp/entry/2018/07/07/223257

#####モデルの評価とハイパーパラメータのチューニングのベストプラクティス
http://hirai.me/notes_pyml_06.html

F1スコアとは：
#####sklearn.metrics.f1_score
https://scikit-learn.org/stable/modules/generated/sklearn.metrics.f1_score.html

#####scikit-learn でクラス分類結果を評価する
https://pythondatascience.plavox.info/scikit-learn/%E5%88%86%E9%A1%9E%E7%B5%90%E6%9E%9C%E3%81%AE%E3%83%A2%E3%83%87%E3%83%AB%E8%A9%95%E4%BE%A1

グリッドサーチ：

訓練セット全体を用いて訓練したモデルをテストデータで評価する
↓
#####モデルのパラメータ探索手法、「グリッドサーチ」ってなんだ
https://www.case-k.jp/entry/2018/09/03/211016

#####Model Selection Using Grid Search
https://chrisalbon.com/machine_learning/model_selection/model_selection_using_grid_search/

#####Hyperparameter Tuning Using Grid Search
https://chrisalbon.com/machine_learning/model_selection/hyperparameter_tuning_using_grid_search/

#####Scikit-learnによるロジスティック回帰
https://data-science.gr.jp/implementation/iml_sklearn_logistic_regression.html

#####【Keras】GridSearch(グリッドサーチ)でハイパーパラメータを調整する
https://keita-blog.com/data_science/keras-gridsearch

エルボー法：
#####k-meansの最適なクラスター数を調べる方法
https://qiita.com/deaikei/items/11a10fde5bb47a2cf2c2

DataFrame:
#####pandasのDataFrameのインデックスでの要素参照と代入
https://hydrocul.github.io/wiki/numpy/pandas-dataframe-ref-index.html

その他：
#####Python でのデータ分析作業をスマートにするために
https://qiita.com/s_katagiri/items/a6c3914e7623b4d7b5a3