2021.3.18 直接のdf作成・取得などを追記

直接df

df = pd.DataFrame({
    "col1" : [1,2,3,4,5],
    "col2" : [6,7,8,9,10],
    "col3" : ["A","B","C","D","E"]
})

# 同じデータフレームをnumpyのarrayを使って作成
import numpy as np
array1 = np.array([1,2,3,4,5])
array2 = np.array([6,7,8,9,10])

df = pd.DataFrame({
    "col1" : array1,
    "col2" : array2,
    "col3" : ["A","B","C","D","E"]
})

dictからdf

df = pd.DataFrame(dict_data.values(), index=dict_data.keys())
# 初期のcolumn名が0になるので変更
df = df.rename(columns={0:"count"})

名称変更

column名の変更(rename)

df = df.rename(columns={"before1":"after1","before2": "after2"})

取得

列名からデータを取得する

df.y

df["y"]

df[["y"]]

複数取得

行列で取得することになる

df[["column1","column2"]]

[ ]と型

df[　　]

type(df["y"])
# pandas.core.series.Series

df[[　　]]

type(df[["y"]])
# pandas.core.frame.DataFrame

seriesで取得しておくとnumpyのarrayと同様に扱うことができる。

seriesをnp.arrayに変換する

import numpy as np
np.array(df.column1)

# .values としても変換可能
df.column1.values

行の取得

query関数を使う。

# 0行目を取得
df.query("index == 0")

# query で条件を指定して抽出
df.query("category2 == 'married'")

# queryでorで条件指定して抽出
df.query("category2 == 'married'| category2 == 'single'")

# query関数でandで条件指定して抽出
df.query("category2 == 'married'& y == 'yes'")

# 行に条件付与した上で抽出列を指定
df.query("category2 == 'married'")[["column2","y"]]

削除

欠損値を含む行の削除(dropna)

# category1、category3 に欠損値を含む行を削除
df = df.dropna(subset=['category1','category3'])

列の欠損数を指定して削除(dropna)

# 欠損数が2400個以上のcolumnを除外
df = df.dropna(thresh=2400, axis=1)

列(columns)の削除(drop)

df = df.drop(columns="column5")

補完

カテゴリーデータの補完(fillna)

# 欠損値を「unknown」で置換
df = df.fillna({'category1':'unknown'})

# 欠損値を最頻のカテゴリーで補完
df['category1'] = df['category1'].fillna(df['category1'].mode()[0])

# 2番目に頻出で埋めたい場合があれば .mode()[1]

量的変数の補完(fillna)

#平均値で埋める
df['column1'] = df['column1'].fillna(df['column1'].mean())

除外

# column1について 18以下、100以上を外れ値としたい。
# dfのcolumn1 18以上を抽出
df = df[df["column1"] >= 18]
# dfのcolumn1 100以下を抽出
df = df[df["column1"] <= 100]

# 絞り込むことで除外を実現する
# df[抽出条件]

データ変換

条件置換(where)

df = pd.DataFrame({
    "col1" : [1,2,3,4,5],
    "col2" : [6,7,8,9,10],
    "col3" : [0,20,50,0,0]
})

df

# col3に対して 0以外を1にしたい
# Trueは放置、Falseに対して指定の置換
df["col3"] = df['col3'].where(df['col3'] == 0, 1)
df

2値分類の変換(replace)

# 本当に2値分類か確認
print(df["category5"].value_counts(ascending=False, normalize=False))

# 特定の列に対して、2値(yes/no)の変換
df["category5"] = df["category5"].replace("yes",1)
df["category5"] = df["category5"].replace("no",0)

# yes/no 項目が複数なら一括変換も可能
df = df.replace("yes", 1)
df = df.replace("no", 0)

多値分類の変換(pd.get_dummies)

# 本当に多値分類か確認
print(df["category2"].value_counts(ascending=False, normalize=False))

# dummy変数を使って変換する
df_category2 = pd.get_dummies(df['category2'])

# 先頭から5行目まで表示
df_category2.head()

# category2 1列　から vfalue_countsの数分の列が作成される

変換後に結合が必要になる。

結合(concat)

column1~3,category5 + category2(dummy) + y

# column1,column2,column3,category5を抽出
tmp1 = df[["column1","column2","column3","category5"]]


# category2のダミー変数変換
df_category2 = pd.get_dummies(df['category2'])

# 結合
# new_df = column1~3,category5 + category2
new_df = pd.concat([tmp1, df_category2],axis=1)

# 右端にyを結合
new_df = pd.concat([new_df, df[["y"]]],axis=1)

書き出し

# 新しいdfをCSVファイルで出力
new_df.to_csv('file_name.csv', index=False)

カウント(value_counts)

# category2の値の比率を計算
df['category2'].value_counts(ascending=False, normalize=True)


# ascending ascending True:昇順 / False:降順
# normalize True:割合 / False:頻度

並び替え(sort_values)

df = df.sort_values("category2", ascending = False)
# ascending ascending True:昇順 / False:降順

量的データでもカテゴリーデータでも並び替えは可能

転置(.T)

df.T

クロステーブル

その1

df = pd.DataFrame({
    "smoke" : [0,0,0,1,1,1,1],
    "lung" : [0,0,1,0,1,1,1],
})

df

pd.crosstab(df['smoke'], df['lung'])

その2

IDに対して重複なしで複数属性持つ時にはダミー変換も兼ねた使い方ができる

df = pd.DataFrame({
    "ID" : [1,2,2,2,3,4,4],
    "attribute" : ["B","C","D","B","A","A","C"],
})

df

pd.crosstab(df['ID'], df['attribute'])