機械学習の各分野におけるスタンダードライブラリ、痒い所に手が届くライブラリを紹介します。大全を名乗るには程遠いですが。

基本的に使用経験のあるライブラリを記載していますが、一部使ったことのない物も載せてあります。尚、画像系ライブラリはほとんど載せていません。

主要ライブラリ」

・scikit-learn
　・派生ライブラリ群のscikit-learn-contrib
・Tensorflow
・Keras
・Pytorch
・XGBoost　解説
・LightGBM
　　LightGBM ハンズオン - もう一つのGradient Boostingライブラリ
・NGBoost
　　NGBoostを試してみた
・statsmodels

AutoML

・AutoGluon
　　3 行のコードが実現する機械学習の自動化。「AutoGluon」が見据える未来とは?
　　AutoGluon試してみた

・optuna
　sklearn, chainer, keras, どこでも使えるハイパーパラメータ調整ライブラリ
　　Kerasでハイパーパラメータを自動調整したいならOptuna

　Optunaでsklearn compatibleなモデルをチューニングする際はOptunaSearchCVを用いるのが望ましい。
　OptunaSearchCV
　LightGBM専用のtuner
　LightGBMTuner

・sklearn-genetic-opt
　遺伝的アルゴリズムでハイパーパラメータを最適化
　GASearchCV

・ray
　TuneSearchCV

・tpot
　機械学習手法やハイパーパラメータを自動最適化（遺伝的アルゴリズム）
　　その機械学習プロセス、自動化できませんか？
　＊ただし、取りうる目的変数は１つのみ。
　いわゆるMultioutputregressorには対応しないので、目的変数が複数存在する場合は前処理で分割する必要があり。

・auto-sklearn
　　Pythonでデータ分析：Auto-sklearnについてのメモ

・pycaret
　　　最速でPyCaretを使ってみた

・Autokeras

・hyperas
　hyperoptベースでkerasを自動チューニング
　　その機械学習プロセス、自動化できませんか？

前処理

ノイズ処理

・tabular_dae

欠損値補完

・miceforest

・missingpy
　Pythonでの欠測データ補完手法に関するクイックガイド（2020）
　ライセンスはLGPL
　
・miracle-imputation
　論文(2021)

特徴量エンジニアリング

・feature-engine
　種々の特徴量エンジニアリング
　　Feature-engineを使って特徴量エンジニアリングをする方法
　時系列のLagFeaturesなど

・category-encoders
　カテゴリ変数のone-hot化
　　Category Encodersでカテゴリ特徴量をストレスなく変換する

・featuretools
　特徴量エンジニアリング
　　featuretoolsで特徴量を自動生成して機械学習モデルの構築を楽に早くする手法

特徴量選択

・Boruta
　　https://qiita.com/studio_haneya/items/bdb25b19baaf43d867d7

・BorutaShap
　　Numerai: Boruta-Shapで特徴量選択

・sklearn-genetic
　遺伝的アルゴリズムで説明変数選択（お勧め）

・sklearn-genetic-opt
　遺伝的アルゴリズムで説明変数選択

・sklearn-rebate
　　Relief-based feature selection: Introduction and review
　　ReliefFでFeature選択備忘録

・zoofs
　　zoofs - Github
　　Grey Wolf Algorithmなどに対応
　　　scikit-learnのAPIには非対応
・boostaroota
　Boruta類似の分類用の説明変数選択手法　

・mlxtend
　　SequentialFeatureFloatingSelectionやExhaustiveFeatureSelectorに対応

・scikit-feature
　　40の説明変数選択手法を実装。
　　ライブラリ名に反してscikit-learnのAPIには対応していない

・Regularized-Random-Forest
　　RRFのRライブラリのpythonラッパー。ライブラリの完成度は高くはない。
　　RRFや派生モデルのGRRF、GRFは予測モデルとしても用いられるが、変数選択手法として用いることが多い。

　参考：Rパッケージ : RRF

学習手法

線形系

・asgl
　　AdaptiveLasso, GroupLasso, SparseGroupLassoなど
　　sciki-learn-APIには非対応なので、そのままでは使いづらい
　　Asgl: A Python Package for Penalized Linear and Quantile Regression
　　Sparse Group Lasso in Python

決定木系

・Linear-Tree
　　決定木＋線形回帰・分類、ランダムフォレスト＋線形回帰・分類
　　Linear-Tree
　　Linear Tree: the perfect mix of Linear Model and Decision Tree

・bartpy
　BART
　　pypiのライブラリはバグがあるので、githubからインストール

・GBART

・RGF-python
　　RGF(Regurarized Greedy Forest)
　　論文
　　 Regularized Greedy Forest(RGF)で多クラス分類を試してみました

・imodels
　Hierarchical shrinkageやFIGS、Boosted rule

・relf
　SPORF(Sparse Projection Oblique Randomer Forests)

・quantile-forest
　　予測値の分散を求めるランダムフォレスト

・cubist

・RuleFit
　　決定木を基に特徴量を作成し、線形モデルで回帰を行う
　　データから相互作用を自動で抽出するモデリング手法: RuleFit を試す

ベイズ系

・gmr
　　【ベイズ推定】GMR（Gaussian Mixture Regression）入門

その他学習手法

・ TabNet
　テーブルデータの機械学習
　・ pytorch-tabnet
　　　TabNetを使えるようになりたい
　　　 TabNetを使う（回帰編）

・DCEKit
　　DCEKit (Data Chemical Engineering toolKit) を PyPI にリリース！

・heamy

・PystackNet
　　Kaggleでよく使われるStacking/Blendingをheamy、Stacknetをpystacknetで高速に実装する

・autofeat

・gplearn
　　遺伝的プログラミングによる回帰モデル
　　遺伝的アルゴリズムを使って特徴量エンジニアリングしてみた

・GrowNet
　"Gradient Boosting Neural Networks: GrowNet"

・CBM
　　売上や需要などのカウントデータを予測するための説明可能な教師あり機械学習アルゴリズム

・interpret
　　機械学習の解釈技術のパッケージ

時系列

・Prophet
　　時系列解析ライブラリProphet　公式ドキュメント翻訳１

・tsfresh
　　tsfreshを使って多次元時系列データを特徴量エンジニアリングしてみた

・sklearn-sfa
　　Slow Feature Analysis: A Theoretical Analysis of Optimal Free Responses

・hcrystalball

・artlearn
　適用共鳴理論

クラスタリング

✓tSNE(sklearn)
　　　(t-SNE, DBSCAN, Decision Tree)で、(可視化 > クラスタリング > 特徴説明)を行う
・qSNE
　　　【論文解説:python実装】t-SNEの改良版！q-SNE
・DBSCAN
　　　【scikit-learnでDBSCAN(クラスタリング)
・RobustPCA
　　　Robust PCAで動体分離

・trimap
・PaCMAP

✓手法比較
　　　【次元低減】UMAP, PCA, t-SNE, PCA + UMAP の比較

scikit-learn補完

・scikit-lego
　本家scikit-learnに実装されていない様々なアルゴリズムを提供

・scikit-plot
scikit-learnで得られた結果を手軽に可視化

・scikit-learn-extra
scikit-learnに採用されていないアルゴリズム

・mlxtend
scikit-learnに採用されていないアルゴリズム
Sequential Forward/Backward Floating Selectionなど

・[atom-ml](https://pypi.org/project/atom-ml/
scikit-learnの高速化アルゴリズム

XAI(説明可能AI)

・shap
　説明変数の影響度可視化
　　Shapを用いた機械学習モデルの解釈説明

・sage-importance
　pypiのはplot関係のバグがあるのでgithubからのインストールを推奨

　説明変数の影響度可視化(SHAPとは異なり予測精度に与える特徴量のグローバルな影響を算出)
　　論文　論文　解説ブログ

・gamma-facet
　　論文

・skope-rules
　　解釈可能なルールを学習するskope-rulesのアルゴリズム
　　pypiのバージョンは古くscikit-learn v1以降ではエラーが出るため、Githubからインストール
　　参照：Not compatible with sklearn v1
　　分類問題のみ対応、回帰問題には未対応

・RuleFit
　決定木を基に特徴量を作成し、線形モデルで回帰を行う
　　
・sklearn-gbmi
　Gradient BoostingのFriedmanとPopescuのH統計量を計算
　

評価

・tibfold
Tibshirani-Tibshirani methodを用いて、k-fold double-cross-validationのerrorを推定する方法
　ダブルクロスバリデーションより少ない計算量で求められる

その他

・h5py
　訓練済みモデルの保存・読込に必要

可視化

・matplotlib

・seaborn
　 pythonで美しいグラフ描画 -seabornを使えばデータ分析と可視化が捗るその1

・dtreeplt
　graphviz不要の決定木可視化
　 [Python]Graphviz不要の決定木可視化ライブラリdtreepltをつくった

・dtreeviz
　sklearnの決定木可視化　sklearn標準よりもスタイリッシュ
　 Pythonの決定木をdtreevizでスマートに可視化する

・pydotplus
・graphviz

逆問題 - 探索

・deap
　遺伝的アルゴリズム
　順問題の予測式を機械学習で作り、逆問題を解く場合に有効
　　DEAP

・pyevolve
　遺伝的アルゴリズム

・Gpy
・Gpyopt
　　Pythonでベイズ最適化を行うパッケージ GPyOpt

・PHYSBO
　COMBO後継。 GPL　

・hyperopt
　SMBO

・itertools(標準ライブラリ)
・more-itertools
　document
　itertools、more-itertoolsの紹介
　itertoolsの拡張ライブラリ。
　使用例：sample(itertools.combinations, 2) : iteratorからのサンプル