はじめに

機械学習ではデータの分布を正規分布に近づけると、予測精度が改善する場合が多々あります。正規分布に近づける手法の一つとして、boxcox変換が存在します。

boxcox変換

boxcox変換は対数変換などと異なり、多様な分布を正規分布に近づけることが可能であるため、様々なデータに応用可能です。本記事では以下の処理をPythonで実行します。

Pythonでboxcox変換を行う
boxcox変換後のデータをもとに戻す

boxcox変換の詳細な説明は省略しますが、下記のサイトで分かりやすく説明されています。
Box-cox変換を用いて正規分布に従わないデータを解析をしてみよう！
Box-Cox変換を理解してみる

環境

Google Colaboratory Pro

コード

モジュールのimport・変換前のデータ

import pandas as pd
from sklearn.datasets import load_boston
import seaborn as sns
from statistics import mean, median, variance, stdev
from scipy.stats import boxcox
from scipy.special import inv_boxcox

データとしてscikit-learnのBoston house-prices (ボストン市の住宅価格)を使用します。

boston = load_boston()
y = boston.target

変換前の各指標を計算します。

m = mean(y)
med = median(y)
vari = variance(y)
std = stdev(y)
print("平均: ", m)
print("中央値: ", med)
print("分散: ", vari)
print("標準偏差: ", std)

#実行結果
平均:  22.532806324110673
中央値:  21.2
分散:  84.58672359409854
標準偏差:  9.197104087379817

変換前のpriceの分布をヒストグラムで描画します。

sns.distplot(y)

boxcox変換・変換後のデータ

boxcox変換を実行します。

y_boxcox = boxcox(y)

boxcox()の戻り値について調べます。

print(type(y_boxcox),"要素数:",len(y_boxcox))
print("変換後のデータ: \n",y_boxcox[0][:10])
print("λ値: ",y_boxcox[1])

#実行結果
<class 'tuple'> 要素数: 2
変換後のデータ: 
 [4.57293637 4.36558166 5.33694273 5.25495447 5.42860689 4.93592663
 4.48001683 4.81796329 3.85654088 4.10949441]
λ値:  0.2166209012915364

boxcox()の戻り値は要素数2のタプルです。1つ目の要素が変換後の値（リスト）で、2つ目の要素がλ値というboxcox変換にて使用されるパラメータです。このλ値を参照することで変換前の分布に戻すことも可能です。

変換後の各指標を計算します。

m_boxcox = mean(y_boxcox[0])
med_boxcox = median(y_boxcox[0])
vari_boxcox = variance(y_boxcox[0])
std_boxcox = stdev(y_boxcox[0])
print("平均: ", m_boxcox)
print("中央値: ", med_boxcox)
print("分散: ", vari_boxcox)
print("標準偏差: ", std_boxcox)

#実行結果
平均:  4.326198793674132
中央値:  4.329286356920582
分散:  0.6132144144256096
標準偏差:  0.7830800817449066

平均値≒中央値となり正規分布に近づいています。

変換後の分布をヒストグラムで描画します。

sns.distplot(y_boxcox[0])

中央値を中心として左右対称となり、正規分布に近づいています。

inv_boxcox変換・変換後のデータ

変換後のデータを変換前の分布に戻します。戻すにはinv_boxcoxモジュールを使用します。（invはinverseの略で反対の意味です。）

y_inv = inv_boxcox(y_boxcox[0],y_boxcox[1])

inv_boxcox変換後の各指標を計算します。

m_inv = mean(y_inv)
med_inv = median(y_inv)
vari_inv = variance(y_inv)
std_inv = stdev(y_inv)
print("平均: ", m_inv)
print("中央値: ", med_inv)
print("分散: ", vari_inv)
print("標準偏差: ", std_inv)

#実行結果
平均:  22.532806324110673
中央値:  21.199999999999992
分散:  84.58672359409854
標準偏差:  9.197104087379817

boxcox変換前の値に戻っています。

inv_boxcox変換後の分布をヒストグラムで描画します。

sns.distplot(y_inv)

分布もboxcox変換前に戻っています。