• AIでデータ分析-ハイパーパラメータチューニング：ラッソ回帰で従業員の給料を予測する
• 用いるデータの紹介
• まずはPythonで実装する
• AIの活用：ChatGPTで実行する
• まとめ

AIでデータ分析-ハイパーパラメータチューニング：ラッソ回帰で従業員の給料を予測する

このノートは、分析においてAIを使って何ができて何ができないかを検証するために、実際に試した結果をまとめたノートです。

今回はラッソ回帰で従業員の給料を予測し、最適なハイパーパラメータや精度を確認していきたいと思います。

その際、AIとどちらがよりよい結果が得られるか、試してみたいと思います。AIを用いることでいかに効率化できるのか、体験していただければと思います。

所要時間は30分ほどとなっています。

それでは、さっそく始めていきましょう！

データの紹介

今回検証に用いるデータのサンプルデータは従業員データです。サンプルデータはこちらからダウンロードできます。

1行が従業員１人のデータになっています。列情報としては年齢、性別、婚姻ステータス、部署、職種、給料などがあります。

まずはPythonで実装する

統計モデルにラッソ回帰を用い予測モデルを作成→各評価指標でモデルの評価をPythonで実装します。

結果を確認します。

最適なハイパーパラメータは

alpha : 10.0

テストデータでの評価は

MSE=約1349497

MAE=約884

R2=約0.933

MAPE : 0.176

でした。分析の所要時間は5分でした。

AIの活用：ChatGPTで実行する

次にAIを使って同じことをするため、chatGPTに従業員データをアップロードし、

「添付のデータを使って下記を実行して。 １、給料の列を目的変数、他の列を説明変数（離職の列は削除する）としてデータフレームを切り分ける ２、訓練データ7割、テストデータ3割に分割する ３、データの前処理としてデータタイプが数値型の列は標準化し、object型の列にはダミー変数化する ４、アルゴリズムはラッソ回帰を使いハイパーパラメータチューニングで最適なモデルを作る ５、モデルの評価指標として、MSE,MAE,決定係数を求めて表示する」と入力し、実行します。

結果を確認します。

最適なハイパーパラメータは

alpha : 10

テストデータでの評価は

MSE=約1349479

MAE=約884

R2=約0.934

MAPE : 約0.176

でした。分析の所要時間は1分でした。

まとめ

今回はラッソ回帰で従業員の給料を予測するにあたり、2つの方法を試しました。

1つ目の方法はPythonを用いた方法と、もう1つはchatGPTを用いた方法です。

結果は全く同じ結果を得ることができ、AIを用いることでより効率よく分析を行うことできるケースがあることを

確認することができました。

AIでできることとできないことを把握し、うまく活用することで、データ分析もかなり効率化できそうですね！

AIでデータ分析-ハイパーパラメータチューニング：ラッソ回帰で従業員の給料を予測する　は以上となります！