データの前処理で使ったPythonコード(csv読み込み、データ確認)

はじめに

データの前処理をする際に使用頻度の高かったコマンドのメモ。
詳細は、pd.read_csvとかで検索してください。
負荷の低い処理とかについては勉強中、もっと楽な書き方などあれば誰か教えてください。

以下に分けて書いていく予定。

• データの読み込み、確認 ←今回はこれ
• データの加工、書き出し
• 数値データの処理

環境：Python 3.8.5(Windows)、Anaconda、Spyder など

カレントディレクトリを作業フォルダに移動

import os
os.chdir("C:/Users/xxx … ")

csvの読み込み

データフレームにcsvの内容を格納する

import pandas as pd

file = "./data/datafile.csv" 

# zipやgzファイルのまま読み込みも可能
df = pd.read_csv("./data/datafile.csv.zip")
df = pd.read_csv("./data/datafile.csv.gz")

# そのまま読み込むと1行目=ヘッダー、index列なしとして読み込む
df = pd.read_csv(file)

# index_colでインデックス行を指定
df = pd.read_csv(file,index_col=0)

# herderでヘッダ行を指定(それより上は破棄)
df = pd.read_csv(file, header=0)
df = pd.read_csv(file, header=[0])
df = pd.read_csv(file, header=None)

# usecolでカラムを指定して取得
df = pd.read_csv(file,usecols=["time"])

# keep_default_na=Falseとすると、欠損値を自動でNanにしなくなる(データ型がstrになるが)
df = pd.read_csv(file,keep_default_na=False)

# nrowsで読み込む行数を指定
df = pd.read_csv(file,nrows=10)

# skiprowsで読み込みを飛ばす行数を指定
df = pd.read_csv(file,skiprows=10)
df = pd.read_csv(file,skiprows=range(1,10))

フォルダ内の全csvを取得

import glob

import_dir = "C:/Users/xxx … "

files = sorted(glob.glob(import_dir + '/*.csv'))
        
# CSVファイルの中身を読み出して、データフレームのリスト形式にまとめる
csv_list = []
for file in files:
    csv_list.append(pd.read_csv(file))

データフレームを結合

# 下方向に結合する
con_csv = pd.concat(csv_list)
# ignore_indexで元データのindexを破棄して番号を振りなおす
con_csv = pd.concat([df1,df2], ignore_index=True)

# 右方向に結合する
con_csv_1 = pd.concat([df1,df2], axis=1)

データの内容を確認する

データの中身を確認

# データの先頭を表示(デフォルトは5行)
df.head(3)

# データの末尾を表示
df.tail(3)

データ型などを確認

# カラムごとのデータ型を取得
df_types = df.dtypes

# インデックス数、カラム数、データ型を確認
df_info = df.info()

カラム名、インデックスの一覧を取得

# カラム名一覧を取得(index形式で出力される=list形式ではない)
df.columns

# インデックス一覧を取得(index形式)
df.index

データフレームの要素を参照する

# データフレームの1データを取得する 
d = df.iat[1,2]

# データフレームの1列を取得する
col = df["time"]
col = df.iloc[:,3]

# データフレームの1行を取得する
row = df.iloc[3,:]

参考

調べているときはだいたいこの2サイトにたどり着くことが多かったです。
note.nkmk.me
DeepAge