遅くなりましてすみません。。。
前置き
前回に続いて、csvをいじくっていこうと思います。
前回では生Pythonのcsv処理と、csvモジュールを使ったcsvの処理を書いてきました。
どちらも楽になる部分、実装上考慮しなければならない部分がそれぞれあるので、その時々で都合のいいほうを採用するといい、という感じで締めたと思います。
今回は、Pandasというライブラリを使ったcsv読み込みを紹介します。
本当は書き込みに関してのメソッドもあるのですが、業務内でほぼ使う機会がなかったことと、それに伴ってよくわかってないのが正直なところなので省略させてください。
(使ってない=そこまで必須でもない、と無理にこじつけてみる)
ただ、読み込みに関しては大いに助けになったのでそちらに関しては書こうと思います。
本編
まずはオプションとかつけないで普通に書いてみます。
import pandas as pd
# DataFrame型でcsvを読み込む
reader = pd.read_csv('../data/sample.csv')
print(reader)
"""
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
0 INDEX_1 1_1 1_2 1_3 1_4 1_5 1_6 1_7
1 INDEX_2 2_1 2_2 2_3 2_4 2_5 2_6 2_7
2 INDEX_3 3_1 3_2 3_3 3_4 3_5 3_6 3_7
3 INDEX_4 4_1 4_2 4_3 4_4 4_5 4_6 4_7
4 INDEX_5 5_1 5_2 5_3 5_4 5_5 5_6 5_7
5 INDEX_6 6_1 6_2 6_3 6_4 6_5 6_6 6_7
6 INDEX_7 7_1 7_2 7_3 7_4 7_5 7_6 7_7
7 INDEX_8 8_1 8_2 8_3 8_4 8_5 8_6 8_7
8 INDEX_9 9_1 9_2 9_3 9_4 9_5 9_6 9_7
9 INDEX_10 10_1 10_2 10_3 10_4 10_5 10_6 10_7
HEADER_8 HEADER_9 HEADER_10
0 1_8 1_9 1_10
1 2_8 2_9 2_10
2 3_8 3_9 3_10
3 4_8 4_9 4_10
4 5_8 5_9 5_10
5 6_8 6_9 6_10
6 7_8 7_9 7_10
7 8_8 8_9 8_10
8 9_8 9_9 9_10
9 10_8 10_9 10_10
"""
このとき、readerはDataFrameという型です。
例に倣ってコメントに出力結果を書いてますが、一番左端の列に数字が出力されています。
これがpandasの仕様の一つで、自動的にインデックスの番号が付与されます。
もともとサンプルには便宜上のINDEX_が書いてありましたが、pandasはその辺優しいです。
for分などでイテレーションかける時も楽になります。
あと、横に列が多い場合、自動的に改行のような形式になって出力されているのがわかります。
次は、行数を指定して実行する場合です。
# chunksizeで行数を決定して自動的にイテレーションによる読み込みを実施する
reader = pd.read_csv('../data/sample.csv', chunksize=1)
for r in reader:
print(r)
"""
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
0 INDEX_1 1_1 1_2 1_3 1_4 1_5 1_6 1_7
HEADER_8 HEADER_9 HEADER_10
0 1_8 1_9 1_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
1 INDEX_2 2_1 2_2 2_3 2_4 2_5 2_6 2_7
HEADER_8 HEADER_9 HEADER_10
1 2_8 2_9 2_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
2 INDEX_3 3_1 3_2 3_3 3_4 3_5 3_6 3_7
HEADER_8 HEADER_9 HEADER_10
2 3_8 3_9 3_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
3 INDEX_4 4_1 4_2 4_3 4_4 4_5 4_6 4_7
HEADER_8 HEADER_9 HEADER_10
3 4_8 4_9 4_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
4 INDEX_5 5_1 5_2 5_3 5_4 5_5 5_6 5_7
HEADER_8 HEADER_9 HEADER_10
4 5_8 5_9 5_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
5 INDEX_6 6_1 6_2 6_3 6_4 6_5 6_6 6_7
HEADER_8 HEADER_9 HEADER_10
5 6_8 6_9 6_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
6 INDEX_7 7_1 7_2 7_3 7_4 7_5 7_6 7_7
HEADER_8 HEADER_9 HEADER_10
6 7_8 7_9 7_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
7 INDEX_8 8_1 8_2 8_3 8_4 8_5 8_6 8_7
HEADER_8 HEADER_9 HEADER_10
7 8_8 8_9 8_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
8 INDEX_9 9_1 9_2 9_3 9_4 9_5 9_6 9_7
HEADER_8 HEADER_9 HEADER_10
8 9_8 9_9 9_10
BLANK_ HEADER_1 HEADER_2 HEADER_3 HEADER_4 HEADER_5 HEADER_6 HEADER_7 \
9 INDEX_10 10_1 10_2 10_3 10_4 10_5 10_6 10_7
HEADER_8 HEADER_9 HEADER_10
9 10_8 10_9 10_10
"""
csv全体の行数に対して、chunksizeを指定してやることで分割処理ができます。
行数が多いファイルなどはこれによりメモリエラーを回避することができます。
(もちろん、一回に指定できるchunksizeが大きいほど全体の時間は短縮できるので、メモリの上限と相談しつつ決めましょう。)
列単位の処理
さらに、pandasならではの処理を紹介。
# 列単位で取得
reader = pd.read_csv('../data/sample.csv', chunksize=5)
for r in reader:
for index, row in r.iteritems():
print(index, row)
"""
BLANK_ 0 INDEX_1
1 INDEX_2
2 INDEX_3
3 INDEX_4
4 INDEX_5
Name: BLANK_, dtype: object
HEADER_1 0 1_1
1 2_1
2 3_1
3 4_1
4 5_1
Name: HEADER_1, dtype: object
HEADER_2 0 1_2
1 2_2
2 3_2
3 4_2
4 5_2
Name: HEADER_2, dtype: object
HEADER_3 0 1_3
1 2_3
2 3_3
3 4_3
4 5_3
Name: HEADER_3, dtype: object
HEADER_4 0 1_4
1 2_4
2 3_4
3 4_4
4 5_4
Name: HEADER_4, dtype: object
HEADER_5 0 1_5
1 2_5
2 3_5
3 4_5
4 5_5
Name: HEADER_5, dtype: object
HEADER_6 0 1_6
1 2_6
2 3_6
3 4_6
4 5_6
Name: HEADER_6, dtype: object
HEADER_7 0 1_7
1 2_7
2 3_7
3 4_7
4 5_7
Name: HEADER_7, dtype: object
HEADER_8 0 1_8
1 2_8
2 3_8
3 4_8
4 5_8
Name: HEADER_8, dtype: object
HEADER_9 0 1_9
1 2_9
2 3_9
3 4_9
4 5_9
Name: HEADER_9, dtype: object
HEADER_10 0 1_10
1 2_10
2 3_10
3 4_10
4 5_10
Name: HEADER_10, dtype: object
BLANK_ 5 INDEX_6
6 INDEX_7
7 INDEX_8
8 INDEX_9
9 INDEX_10
Name: BLANK_, dtype: object
HEADER_1 5 6_1
6 7_1
7 8_1
8 9_1
9 10_1
Name: HEADER_1, dtype: object
HEADER_2 5 6_2
6 7_2
7 8_2
8 9_2
9 10_2
Name: HEADER_2, dtype: object
HEADER_3 5 6_3
6 7_3
7 8_3
8 9_3
9 10_3
Name: HEADER_3, dtype: object
HEADER_4 5 6_4
6 7_4
7 8_4
8 9_4
9 10_4
Name: HEADER_4, dtype: object
HEADER_5 5 6_5
6 7_5
7 8_5
8 9_5
9 10_5
Name: HEADER_5, dtype: object
HEADER_6 5 6_6
6 7_6
7 8_6
8 9_6
9 10_6
Name: HEADER_6, dtype: object
HEADER_7 5 6_7
6 7_7
7 8_7
8 9_7
9 10_7
Name: HEADER_7, dtype: object
HEADER_8 5 6_8
6 7_8
7 8_8
8 9_8
9 10_8
Name: HEADER_8, dtype: object
HEADER_9 5 6_9
6 7_9
7 8_9
8 9_9
9 10_9
Name: HEADER_9, dtype: object
HEADER_10 5 6_10
6 7_10
7 8_10
8 9_10
9 10_10
Name: HEADER_10, dtype: object
"""
ヘッダーに指定されている列単位で読み込み、なんてこともできます。
データ処理などは、どのような範囲でどのような処理をかましたいかが様々にかんがえうるため、こういう方法も押さえておくと便利です。
行単位の処理
列単位があるなら行単位ももちろんあります。
# 行単位で取得
reader = pd.read_csv('../data/sample.csv', chunksize=1)
for r in reader:
# row_index部分は本来のインデックスの番号が入る(INDEX_とは別)
# row[0]に「INDEX_」、row[1]~には1_1 ~ 1_10と入っている(行数分イテレーションされる)
for row_index, row in r.iterrows():
for element in row[1:]: # row[0]以外でイテレーションすると各要素を取り出せる
print(element)
"""
1_1
1_2
1_3
1_4
1_5
1_6
1_7
1_8
1_9
1_10
2_1
2_2
2_3
2_4
2_5
2_6
2_7
2_8
2_9
2_10
3_1
3_2
3_3
3_4
3_5
3_6
3_7
3_8
3_9
3_10
4_1
4_2
4_3
4_4
4_5
4_6
4_7
4_8
4_9
4_10
5_1
5_2
5_3
5_4
5_5
5_6
5_7
5_8
5_9
5_10
6_1
6_2
6_3
6_4
6_5
6_6
6_7
6_8
6_9
6_10
7_1
7_2
7_3
7_4
7_5
7_6
7_7
7_8
7_9
7_10
8_1
8_2
8_3
8_4
8_5
8_6
8_7
8_8
8_9
8_10
9_1
9_2
9_3
9_4
9_5
9_6
9_7
9_8
9_9
9_10
10_1
10_2
10_3
10_4
10_5
10_6
10_7
10_8
10_9
10_10
"""
上記では行単位の処理に加え、
- pandas特有のインデックス番号
- サンプルに書いていたインデックス番号
- サンプルに書いていたヘッダー
それぞれを排除して出力できるようにしてあります。
pandasそのものの仕様と、データに最初から書いてあるインデックス・ヘッダー名はごちゃごちゃしやすいので、都度確認しながら実装する必要があります。
最初は思うようにデータ抽出をするのが難しいですが、慣れてしまえば相当使いやすいはずです。
まとめ Pandasのここがすごい
- 大容量ファイルの処理に最も効果を発揮する
- csvをcsvらしく考えることができる