- AIでデータ分析-ハイパーパラメータチューニング：K-nnで従業員の離職を予測する
- 用いるデータの紹介
- まずはPythonで実装する
- AIの活用：ChatGPTで実行する
- まとめ
AIでデータ分析-ハイパーパラメータチューニング：K-nnで従業員の離職を予測する
このノートは、分析においてAIを使って何ができて何ができないかを検証するために、実際に試した結果をまとめたノートです。
今回はK-nnで従業員の離職を予測し、最適なハイパーパラメータと精度を確認していきたいと思います。
その際、AIとどちらがよりよい結果が得られるか、試してみたいと思います。AIを用いることでいかに効率化できるのか、体験していただければと思います。
所要時間は20分ほどとなっています。
それでは、さっそく始めていきましょう！
データの紹介
今回検証に用いるデータのサンプルデータは従業員データです。サンプルデータはこちらからダウンロードできます。
1行が従業員１人のデータになっています。列情報としては年齢、性別、婚姻ステータス、部署、職種、給料などがあります。
まずはPythonで実装する
使用するアルゴリズムにK-nnを用い予測モデルを作成→評価指標accuracyでモデルの評価をPythonで実装します。
結果を確認します。
最適なハイパーパラメータは
n_neighbors : 6
テストデータでの評価は
accuracy : 約0.888
でした。所要時間は30分でした。
AIの活用：ChatGPTで実行する
次にAIを使って同じことをするため、chatGPTに従業員データをアップロードし、
「添付のデータを使って下記を実行して。 １、離職の列を目的変数、他の列を説明変数としてデータフレームを切り分ける ２、訓練データ7割、テストデータ3割に分割する ３、データの前処理としてデータタイプが数値型の列は標準化し、カテゴリ型はダミー変数化する ４、アルゴリズムはK-nnを使いハイパーパラメータチューニングで最適なモデルを作る ５、モデルの評価指標として、accuracyを求めて、最適はハイパーパラメータと一緒に表示する」と入力し、実行します。
結果を確認します。
chatGPTの実行時間の制約はデフォルトでは60秒のようです。
実行時間を延長し完全なグリッドサーチを行うべく、Cを選択し実行します。
最適なハイパーパラメータは
n_neighbors : 5
テストデータでの評価は
accuracy : 約0.866
でした。所要時間は5分でした。
まとめ
今回はK-nnで従業員の離職を予測するにあたり、2つの方法を試しました。
1つ目の方法はPythonを用いた方法と、もう1つはchatGPTを用いた方法です。
結果はAIでもK-nnを実行することができること、ハイパーパラメータチューニングを行い、人間よりも高い精度が必ず出るわけではないことを確認することができました。
AIでできることとできないことを把握し、うまく活用することで、データ分析もかなり効率化できそうですね！
AIでデータ分析-ハイパーパラメータチューニング：K-nnで従業員の給料を予測する は以上となります！