分析の学習をしているとSelectKBestという関数を使っているケースに巡り、
「？？？？」ってなったので、簡単に自分でも使ってみました。
ログとしてここに書いておきます。
簡単な説明にとどめ、そして$χ^2$検定とか出てきますが、ガツガツした説明はここでは一旦省きます。
#使うデータ
公式ドキュメントに従って、定番のload_irisを使います。
（コードは一気に書くので、後述）
ドキュメントにまずは従う
一旦ドキュメント通りにコピペして使ってみます。
import numpy as np
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
X, y = load_iris(return_X_y=True)
print(X.shape)
X_new = SelectKBest(chi2, k=2).fit_transform(X, y)
X_new.shape
>>>(150, 4)
>>>(150, 2)
当然ながら、同じ結果になります。
なんですが、、、そもそも自分の中で$χ^2$って$χ^2$検定（二つの質的変数がどのくらい連関があるか？的な）の利用シーンしか知らず、
クロス表でCategorical×Categoricalのイメージのみでした。
そーなると「なんですか？これは？」ってなるわけですが、
とりあえずX, X_newの要素をランダムにみてみました。
print(X[0])
print(X_new[0])
print(X[10])
print(X_new[10])
[5.1 3.5 1.4 0.2]
[1.4 0.2]
[5.4 3.7 1.5 0.2]
[1.5 0.2]
#scipyでも検証
結果的に今回SelectKBestは特徴量選択のメソッドで、今回は後ろ2つが$χ^2$の値を最も最適と判断されたわけですが、本当にそうか？？？って思ったので、scipy.statsでも検証してみました。
print('そのままのX:', chi2_contingency(np.hstack((X, y.reshape(-1, 1))), correction=False)[:3])
X_new2 = np.array([arr[:2] for arr in X]) # 0, 1
print('0, 1番目:', chi2_contingency(np.hstack((X_new2, y.reshape(-1, 1))), correction=False)[:3])
X_new2 = np.array([arr[::2] for arr in X]) # 0, 2
print('0, 2番目:', chi2_contingency(np.hstack((X_new2, y.reshape(-1, 1))), correction=False)[:3])
X_new2 = np.array([arr[::3] for arr in X]) # 0, 3
print('0, 3番目:', chi2_contingency(np.hstack((X_new2, y.reshape(-1, 1))), correction=False)[:3])
X_new2 = np.array([arr[1:-1] for arr in X]) # 1, 2
print('1, 2番目:', chi2_contingency(np.hstack((X_new2, y.reshape(-1, 1))), correction=False)[:3])
X_new2 = np.array([arr[1::2] for arr in X]) # 1, 3
print('1, 3番目:', chi2_contingency(np.hstack((X_new2, y.reshape(-1, 1))), correction=False)[:3])
# 3, 4
print('本命:', chi2_contingency(np.hstack((X_new, y.reshape(-1, 1))), correction=False)[:3])
そのままのX: (197.72548568528768, 1.0, 596)
0, 1番目: (95.8009422151861, 1.0, 298)
0, 2番目: (108.3388708044952, 1.0, 298)
0, 3番目: (106.60836667325174, 1.0, 298)
1, 2番目: (150.73817774749693, 0.9999999999999512, 298)
1, 3番目: (137.88456015851705, 1.0, 298)
本命: (34.65598151635649, 1.0, 298)
なるほど、確かに！って感じで、後ろ2つで$χ^2$が一番小さいことがわかりました。
#じゃあ、これで次元削減していいの？
このSelectKBestで最適な特徴量を選択できるのであれば、PCAとかいらないじゃ〜〜ん！って思いがちですが、そうでもないです。
そもそも$χ^2$において最適な特徴量であるので、
例えばこのX_newとかをLogisticRegressionとかに当てはめると、正解率はそんなによくならないことを確かめてみました。
そのまま
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=123)
model = LogisticRegression(solver='liblinear')
model.fit(X_train, y_train)
model.score(X_test, y_test)
0.9736842105263158
X_new
X_train, X_test, y_train, y_test = train_test_split(X_new, y, random_state=123)
model = LogisticRegression(solver='liblinear')
model.fit(X_train, y_train)
model.score(X_test, y_test)
0.9210526315789473
0, 1番目
X_new2 = np.array([arr[:2] for arr in X])
X_train, X_test, y_train, y_test = train_test_split(X_new2, y, random_state=123)
model = LogisticRegression(solver='liblinear')
model.fit(X_train, y_train)
model.score(X_test, y_test)
0.8421052631578947
1, 3番目
X_new2 = np.array([arr[1::2] for arr in X])
X_train, X_test, y_train, y_test = train_test_split(X_new2, y, random_state=123)
model = LogisticRegression(solver='liblinear')
model.fit(X_train, y_train)
model.score(X_test, y_test)
0.9473684210526315
試合終了しました。(chi2 -> f_regressionでも同じ結果になる)
機械学習にはRFEとかが良さげ
このSelectKBestはどういう時に有利なのかというと、統計量の側面から見た特徴量選択に適している（そう）です。
なので、上記で見たlinear modelで力を発揮するかと言われれば、そうではなく、
機械学習において特徴量をうまく選択したい時は、
RFE(Recursive Feature Elimination)、EFS（Exhaustive Feature Selector）などを使う方が良いです。
実際に使って検証しました。
from sklearn.feature_selection import RFE
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=123)
model = LogisticRegression(solver='liblinear')
model.fit(X_train, y_train)
print('そのまま', model.score(X_test, y_test))
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=123)
rfe = RFE(estimator=LogisticRegression(solver='liblinear'), n_features_to_select=2)
rfe.fit(X_train, y_train)
print('RFE features 2', rfe.score(X_test, y_test))
そのまま 0.9736842105263158
RFE features 2 0.9473684210526315
結果をみると、確かに機械学習において最適な特徴量選択をしてくれていますね。
まとめ
本来はSelectKBestってなんだ？ってところから、最終的にどのように使い分けるのか？というところまで派生しました。
おさらいすると
統計的な側面で特徴量選択→ SeletKBest（など。他にもあります）
機械学習の側面で特徴量選択→RFE（など。ほかにもあります）
って感じで使い分けるのが適切かと。
何かしらの参考になれば嬉しい限りです！
#参考文献
【入門者向け】特徴量選択の基本まとめ(scikit-learnときどきmlxtend) ⇦めちゃ参考になりました。
https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectKBest.html#sklearn.feature_selection.SelectKBest
https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.chi2.html#sklearn.feature_selection.chi2
https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.f_regression.html#sklearn.feature_selection.f_regression
https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.RFE.html