AIでデータ分析-Welchのt検定：営業担当かそれ以外の職種かで平均給料に差があるか調べる

このノートは、分析においてAIを使って何ができて何ができないかを検証するために、実際に試した結果をまとめたノートです。

今回は営業担当かそれ以外の職種かで平均給料に差があると統計的に言えるのか調べていきたいと思います。

その際、AIでWelchのt検定を正しく実行できるのか、また統計の知識がなくても同様の分析結果を得られるのか、試してみたいと思います。AIを用いることでいかに効率化できるのか、体験していただければと思います。

所要時間は10分ほどとなっています。

それでは、さっそく始めていきましょう！

データの紹介

今回検証に用いるデータのサンプルデータは従業員データです。サンプルデータはこちらからダウンロードできます。

1行が従業員１人のデータになっています。列情報としては年齢、性別、婚姻ステータス、部署、職種、給料などがあります。

従業員データの職種別の給料の分布を箱ひげ図で可視化したものが下記画像となります。

営業担当が他の職種に比べ給料が低いのではないかという疑問を抱きました。

今回はこの疑問をきっかけに、職種が営業担当かそれ以外の職種かで平均給料に統計的な差が認められるかどうか調べていきます。

まずはPythonで給料と相関係数の絶対値が大きい変数として、上位10個抽出します。

結果を確認します。

今回の帰無仮説は「営業担当かそれ以外かの職種かで平均給料に差はない」です。

これに対し検定の結果はP値が8.4×10^-98となっており、有意水準5% で帰無仮説を棄却することができました。

すなわちこの会社では、職種が営業担当だと、他の職種と平均給料に差があることが統計的に証明されたことになります。分析の所要時間は10分でした。

次にAIを使って同じことをするため、chatGPTに従業員データをアップロードし、「添付のデータを使って営業担当かそれ以外の職種かで給料の平均に差があるかWelchのt検定で調べて」と入力し、実行します。

結果を確認します。

pythonで行って場合と同じP値が得られており、帰無仮説を棄却できます。

AIはWelchのt検定を正しく実行できることが確認できました。所要時間は2分でした。

今度は統計知識がなくても同じ分析結果を得られるのか試したいと思います。

chatGPTで新しくチャットを開き、プロンプトに「添付のデータを使って職種が営業担当かそれ以外の職種かで給料の平均に違いがあるか教えて」と入力し、実行します。

結果を確認します。

有意水準5%で帰無仮説を棄却するという結論は同じように得られたものの、出力されたp値0.0032となっており、先ほどまでと値が異なります。

原因を調べるため、分析に用いたt検定の種類は何か、営業担当に営業幹部も含めていないか確認してみました。（下記画像参照）

結果はt検定の種類は適切にWelchのt検定を選択してくれていますが、営業担当に営業幹部も含めていたことが確認できました。

つまり「営業」という単語を含む職種とそれ以外の職種で平均給料に差があるか調べていたことが確認できます。

そこで続けて「営業幹部を除いてもう一度分析して」と入力し、実行してみます。

結果はp値が8.4×10^-98とpythonで実行した場合と同じ値を得ることができました。

所要時間は10分でした。

今回は職種別の給料の分布から抱いた疑問を元に、営業担当かそれ以外の職種かで平均給料に差があるのか、3つの方法で調べました。

1つ目の方法はPythonを用いたWelchのt検定、2つ目の方法はchatGPTを用いたWelchのt検定、3つ目の方法はchatGPTを用いて統計知識を使わずが分析を行う方法です。

結果はいずれも同じ結果を得ることができ、AIはWelchのt検定を正しく実行することができること、統計知識がなくても同じ結果を得られること、ただし条件設定は分析者が正しく指定する必要があることを

確認することができました。

AIでできることとできないことを把握し、うまく活用することで、データ分析もかなり効率化できそうですね！

AIでデータ分析-Welchのt検定：営業担当かそれ以外の職種かで平均給料に差があるか調べる　は以上となります！