Pandas df操作(欠損値/行列名変更・取得/csv出力/行・列の除去/結合)

項目

1. 欠損値に対する処理
2. 行・列名の変更
3. 行・列名の取得
4. dfをcsvとして出力
5. 行・列の除去
6. dfの結合

1.欠損値に対する処理

欠損値の除外

python

# 全ての値が欠損しているものの除外
# how = "all"
# 欠損値を含む行の削除
df.dropna(how = "all")

# 欠損値を含む列の削除
df.dropna(how = "all", axis = 1)

# 行、列共に削除したい場合はそれぞれ適用する
df.dropna(how='all').dropna(how='all', axis=1)

# -----------------------------------
# 欠損値が一つでも含まれるものの処理
# how = "any"
# 行の削除
df.dropna(how = "any")

# 欠損値を含む列の削除
df.dropna(how = "any", axis = 1)

欠損値の置き換え

python

# 欠損値の置き換え
# fillna()
# 共通の値に置き換え
df.fillna("num")

# 列ごとに異なる値で置き換え
# 引数で辞書を使う
df.fillna({"id":0, "name":"null"})

# -----------------------------------

# 平均値、中央値、最頻値での置き換え
# 平均値
# 下記の場合は全てを平均値で、列ごとは列指定で
df.fillna(df.mean())

# 中央値で
df.fillna(df.median())

# 最頻値で
df.fillna(df.mode().iloc[0])

# 前後の値で置き換え
# 前の値をいれる
df.fillna(method='ffill')

# 後ろの値をいれる
df.fillna(method='bfill')

欠損値があるものの抽出

python

# 欠損値がある列や行を取り出す
# isnull()
# 欠損値の含まれているレコード
df[df['カラム'].isnull()]

# 特定の行の欠損値があるカラム
df.iloc[0].isnull()

# 欠損値が一つでも含まれる行・列
# isnull().any()
# axis=1で行、axis=0で列
df2.isnull().any(axis=1)

2.行・列名の変更

任意の行・列名変更

python

# dfが再発行される
# カラムの変更
# rename(columns={"元の名前":"変更後の名前})
# レコードの変更
# rename(index={"元の名前":"変更後の名前})
df.rename(columns={'A': 'new_A'}, index={'ONE': 'new_one'})

複数の行・列名変更

python

# 複数の変更
df.rename(columns={'A': 'new_A', 'C': 'new_one'})

3.行・列名の取得

カラム名

リストで取得

python

df.columns.values()

行名

python

df.index.values()

4.dfをcsvとして出力

python

# to_csv("ファイル名", sep="区切り文字", index="True or False"(行名を出すか、Trueなら出力), encoding="文字コード")
df.to_csv("csvファイル名", sep=",")

5.行・列の除去

カラム・レコードが除去された新しいdfを出力

python

# drop("カラム名", axis=1)
# またはdrop(columnns=["~~~"], index=["~~~"])
df_new = df.drop("column", axis=1)

# 複数の場合は引数を行列に
df_new = df.drop(["column","column_2"], axis=1)

元となるdfから直接除去

python

# del df["~~~"]
del df[["column","cplumn_2"]]

6.dfの結合

内部結合

python

# pd.merge(df_1, df_2, on="keyのカラム")
pd.merge(df_1, df_2, on="id")

# カラム名が違う場合
pd.merge(df_1, df_2, left_on='id', right_on='id_2')
# これでやるとkeyにした二つのカラムがそのまま残るので、この後にdropなどで除去しておく
# こんな感じで一気にやってもOK
pd.merge(df_1, df_2, left_on='id', right_on='id_2').drop(columns='id_2')

# -----------------------------------

# 引数にしたいカラムが複数ある場合
pd.merge(df_1, df_2, on=["id","name"])

# 複数かつ違う場合
pd.merge(df_1, df_2, left_on=["id","name"], right_on=["id_2","name_2"]).drop(columns=["id_2","name_2"])

結合方法の指定

python

# 内部結合
# how="inner"
pd.merge(df_1, df_2, on="id", how="inner")

# 外部結合
# how="outer"
# 値が存在しない場合はNaNになる
pd.merge(df_1, df_2, on="id", how="outer")