データ分析の初めの一歩目、データの様子見＆前処理（今回は様子見メイン）
kaggleの勉強用コンペであるHouse Prices: Advanced Regression Techniquesのデータを用いる。
家のデータあれこれから価格予想してねってお題。
House Prices: Advanced Regression Techniques
データの中身チェック
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
どんなデータが入ってるかチェック
!ls ../input/house-prices-advanced-regression-techniques
↓↓↓
data_description.txt sample_submission.csv test.csv train.csv
train.csvが訓練用データ
test.csvがテスト用のデータ
sample_submission.csvがこんな感じで答えを提出してねっていう例示
data_description.txtが各カラムの説明
次に pd.read_csvで各csvファイルをpandas.DataFrameとして読み込み
TEST_PATH = "../input/house-prices-advanced-regression-techniques/test.csv"
TRAIN_PATH = "../input/house-prices-advanced-regression-techniques/train.csv"
SUBMISSION_PATH = "../input/house-prices-advanced-regression-techniques/sample_submission.csv"
test_data = pd.read_csv(TEST_PATH)
train_data = pd.read_csv(TRAIN_PATH)
sample_submission = pd.read_csv(SUBMISSION_PATH)
訓練データの中身を試しに見てみよう。
テーブル先頭５件を以下で表示
train_data.head()
↓↓↓
Id MSSubClass MSZoning LotFrontage LotArea Street Alley LotShape ... MiscFeature MiscVal MoSold YrSold SaleType SaleCondition SalePrice
0 1 60 RL 65.0 8450 Pave NaN Reg ... NaN 0 2 2008 WD Normal 208500
1 2 20 RL 80.0 9600 Pave NaN Reg ... NaN 0 5 2007 WD Normal 181500
2 3 60 RL 68.0 11250 Pave NaN IR1 ... NaN 0 9 2008 WD Normal 223500
3 4 70 RL 60.0 9550 Pave NaN IR1 ... NaN 0 2 2006 WD Abnorml 140000
4 5 60 RL 84.0 14260 Pave NaN IR1 ... NaN 0 12 2008 WD Normal 250000
5 rows × 81 columns
81カラムもあるようです。いっぱい。
因みにテストデータにはSalePriceが抜けています。SalePriceを予想してねってお題ですから。
さて、先頭５件だけ確認しましたが、全部でどれだけあるのでしょうか。
print(len(train_data), len(test_data))
1460 1459
なるほど、1460行と81列で訓練データは構成されているのだなと分かるわけです。
欠損値の確認
これでデータ数の把握が出来ました。先ほどのテーブルを見ると、なにやら欠損値（NaNや空白）が散見されます。全体の欠損値が合計どれだけあるのか確認でもしてみましょう。
isnull()で欠損値があるかどうかを判定し（bool型で返す、つまりTrue False）、
sum()でTrue=1``False=0として欠損値の合計個数を算出、
count()で欠損値でないものを数える処理を意味しています。
total = train_data.isnull().sum().sort_values(ascending=False)
percent = (train_data.isnull().sum()/train_data.isnull().count()).sort_values(ascending=False)
missing_data = pd.concat([total, percent], axis=1, keys=['Total', 'Percent'])
missing_data.head(20)
↓↓↓
Total Percent
PoolQC 1453 0.995205
MiscFeature 1406 0.963014
Alley 1369 0.937671
Fence 1179 0.807534
FireplaceQu 690 0.472603
LotFrontage 259 0.177397
GarageCond 81 0.055479
GarageType 81 0.055479
GarageYrBlt 81 0.055479
GarageFinish 81 0.055479
GarageQual 81 0.055479
BsmtExposure 38 0.026027
BsmtFinType2 38 0.026027
BsmtFinType1 37 0.025342
BsmtCond 37 0.025342
BsmtQual 37 0.025342
MasVnrArea 8 0.005479
MasVnrType 8 0.005479
Electrical 1 0.000685
Utilities 0 0.000000
さて、欠損値に対して考えられる処理は、欠損値を何か違う値で埋め込むor欠損値を含む行または列を削除してしまうことです。例えば、一番上のPoolQCの行を見てみれば欠損値の割合がなんと９９％なので、以下のようにして列を消してしまいましょう。
train_data = train_data.drop('PoolQC',axis=1)
本当に消えているか、先ほどのようにして欠損値のチェックすると
Total Percent
MiscFeature 1406 0.963014
Alley 1369 0.937671
Fence 1179 0.807534
FireplaceQu 690 0.472603
LotFrontage 259 0.177397
GarageCond 81 0.055479
GarageType 81 0.055479
GarageYrBlt 81 0.055479
GarageFinish 81 0.055479
GarageQual 81 0.055479
BsmtExposure 38 0.026027
BsmtFinType2 38 0.026027
BsmtFinType1 37 0.025342
BsmtCond 37 0.025342
BsmtQual 37 0.025342
MasVnrArea 8 0.005479
MasVnrType 8 0.005479
Electrical 1 0.000685
Utilities 0 0.000000
確かに一番上の行が消えてますね。
さて、データフレームばかりでなく、今度はグラフを使って様子を見てみましょう。
（そのためにmatplotlib.pyplotとseabornをインポートしてました。）
長くなったので次回に！