pandasを用いたデータの確認方法まとめ
ざっくり見たい
データの形を確認
データの形(行数×列数).
print(〇〇.shape)
カラム(列名)を確認
print(〇〇.columns)
最初の5行だけ表示
5行表示させたい場合.
print(〇〇.head())
指定の行数、見たい場合はhead()の括弧内に数を入れる
10行表示させたい場合.
print(〇〇.head(10))
Kaggleのタイタニック：災害からの機械学習のtrain_dataでやってみると
詳細に見たい(行数・列数・要素数・型・メモリのチェック)
詳細に見たい場合はinfo()を使いましょう
情報を取得.
print(〇〇.info())
RangeIndex:(範囲)が891あるのに対し、Age,Cabin,Embarkedは少なく、データが欠損していることが分かります。
記述統計が知りたい(データの示す傾向や性質のチェック)
記述統計とは？
:統計の手法のひとつで、収集したデータの平均や分散、標準偏差などを計算して分布を明らかし、データの示す傾向や性質を把握する手法のこと
データの記述統計にはdescribe()を使います
NaN値は除かれた状態で算出され、文字列はこの場合入りません
記述統計の算出(文字列以外).
print(〇〇.describe())
数値の記述統計は下記の形で表されます
count データ数
mean 平均
std 標準偏差
min 最小値
25% 第1四部位数
50% 第2四部位数(中央値)
75% 第3四部位数
max 最大値
カテゴリーの記述統計は
count
unique ユニーク(一意)なデータ数
top 最頻値
freq topの個数
タイムスタンプの記述統計
count
unique
top
freq
first 1番過去の値
last 1番最新の値
因みに、文字列の統計記述もやれます
記述統計の算出(文字列のみ).
print(〇〇.describe(include=['O'])) #大文字O 数字のゼロではないよ！
print(〇〇.describe(include=['object'])) #小文字の方はobjectとちゃんと打つ
文字列の記述統計の形はというと
count
unique
top
freq
(include='all')で、全ての記述統計を出すことも可能です
記述統計の算出(全部).
〇〇.describe(include='all')
