kaggleや機械学習についての良記事と，その記事で扱っている内容を簡潔に書きました．
Pytorch
Pytorch入門
テンソル操作のチートシート，モデル定義，損失関数，オプティマイザ，評価関数の定義
Pytorchチュートリアル（日本語）
モデル定義から，画像認識，自然言語処理，強化学習の実装までの解説
データ加工
特徴量選択
特徴量選択のまとめ
Filter method：データセット完結
相関係数，カイ二乗，フィッシャー係数
Wrapper method：モデルを使用して最適な組み合わせ選択
Step forward，Step backward， Exaustive search
Embedded method： モデル学習時に特徴量選択
L1正則化
機械学習モデル
代表的な機械学習手法一覧
【教師あり】
木：決定木，回帰木，ランダムフォレスト，GBDT
回帰：SVM，ロジスティック回帰，線形回帰
ベイズ：ナイーブベイズ
クラスタリング：k-NN
アンサンブル：ブースティング，バギング
NN：パーセプトロン，CNN，RNN，ResNet
時系列：自己回帰，移動平均，自己回帰和分移動平均モデル
【教師なし】
クラスタリング：k-means，DBSCAN，トピックモデル（LDA）
NN：自己組織化マップ
各分野ごとの最先端モデル
【画像認識】 EfficentNet，Normarilzer-Free Networks
【画像セグメンテーション】 Efficient-Unets
【物体検出】 YOLO-V5，VarifoculNet
【テーブルデータ】 GBDT，GNN，
【自然言語処理】 GPT-3，BERT, Google Switch Transformer
【教師なし特徴表現学習】 変分オートエンコーダ
【強化学習】 Deep Q-Network，Advantage actor-critic
損失関数
分類タスクの損失関数
分類（正負）ロジスティック損失
分類（確率）交差エントロピー誤差，ヒンジ損失
回帰タスクの損失関数
二乗損失，感度損失，Huber損失
最適化アルゴリズム
最適化アルゴリズムまとめ
勾配降下，SGD，ミニバッチSGD，モーメンタム，RMSprop，Adam
アンサンブル手法
Kaggleで学ぶモデルのブレンディングとスタッキング
平均法
投票法
スタッキング
ブレンディング
評価関数
評価関数のまとめ
回帰：MAE，MSE，RMSE，RMSLE
二クラス分類(正負)：Accuracy，Precision，Recall，F1-score
二クラス分類（確率）：交差エントロピー，AUC
多値分類：多クラス交差エントロピー，Multi-class accuracy，mean/macro/micro-F1
ハイパーパラメータチューニング
ハイパラチューニングまとめ
評価指標の定義
チューニング手法：グリッドサーチ，ランダムサーチ，ベイズ最適化
交差検証手法
追加予定
・転移学習
・大規模深層学習モデル
・活性化関数