Pythonでcsvをいじくりまわす①

前置き

機械学習の案件を実際にこなしてみて気づくことといえば、何よりも「データの前処理がものすごく大変」ということです。

実際に組んだスケジュール全体の中でも、結構なウエイトを占めます。地味な作業なのに。

特に自然言語処理の案件などでは多いかと思いますが。お客さんからDB抽出した超大容量のcsvをドカッと渡されて「これがデータです」と。

Wind〇ws病を患う多くの開発民は「嗚呼エクセルガオモイ」と口にします。

というか、もはやデカすぎて開けません。ちょっと中を見て感覚をつかみたいだけなのに。

その瞬間からPythonの出番です。

この記事は…

Pythonという言語と、それに付随するライブラリを使ってcsvデータをさばいていこうという趣旨のものです。

サンプルも、数行数列ではなくもう少し大きくして(10行×10列)、もう少し処理イメージがわきやすいようにしてみます。

自分が書プログラムはあくまでもルールに則った、ロジックが正しいものでなければなりませんが、その中でのデータの動きは頭の中でイメージできるように意識する必要があります。

今回使うサンプル(sample.csv)

BLANK_	HEADER_1	HEADER_2	HEADER_3	HEADER_4	HEADER_5	HEADER_6	HEADER_7	HEADER_8	HEADER_9	HEADER_10
INDEX_1	1_1	1_2	1_3	1_4	1_5	1_6	1_7	1_8	1_9	1_10
INDEX_2	2_1	2_2	2_3	2_4	2_5	2_6	2_7	2_8	2_9	2_10
INDEX_3	3_1	3_2	3_3	3_4	3_5	3_6	3_7	3_8	3_9	3_10
INDEX_4	4_1	4_2	4_3	4_4	4_5	4_6	4_7	4_8	4_9	4_10
INDEX_5	5_1	5_2	5_3	5_4	5_5	5_6	5_7	5_8	5_9	5_10
INDEX_6	6_1	6_2	6_3	6_4	6_5	6_6	6_7	6_8	6_9	6_10
INDEX_7	7_1	7_2	7_3	7_4	7_5	7_6	7_7	7_8	7_9	7_10
INDEX_8	8_1	8_2	8_3	8_4	8_5	8_6	8_7	8_8	8_9	8_10
INDEX_9	9_1	9_2	9_3	9_4	9_5	9_6	9_7	9_8	9_9	9_10
INDEX_10	10_1	10_2	10_3	10_4	10_5	10_6	10_7	10_8	10_9	10_10

エディター上ではこんな感じに書いてあります↓
BLANK_,HEADER_1,HEADER_2,HEADER_3,HEADER_4,HEADER_5,HEADER_6,HEADER_7,HEADER_8,HEADER_9,HEADER_10
INDEX_1,1_1,1_2,1_3,1_4,1_5,1_6,1_7,1_8,1_9,1_10
INDEX_2,2_1,2_2,2_3,2_4,2_5,2_6,2_7,2_8,2_9,2_10
INDEX_3,3_1,3_2,3_3,3_4,3_5,3_6,3_7,3_8,3_9,3_10
INDEX_4,4_1,4_2,4_3,4_4,4_5,4_6,4_7,4_8,4_9,4_10
INDEX_5,5_1,5_2,5_3,5_4,5_5,5_6,5_7,5_8,5_9,5_10
INDEX_6,6_1,6_2,6_3,6_4,6_5,6_6,6_7,6_8,6_9,6_10
INDEX_7,7_1,7_2,7_3,7_4,7_5,7_6,7_7,7_8,7_9,7_10
INDEX_8,8_1,8_2,8_3,8_4,8_5,8_6,8_7,8_8,8_9,8_10
INDEX_9,9_1,9_2,9_3,9_4,9_5,9_6,9_7,9_8,9_9,9_10
INDEX_10,10_1,10_2,10_3,10_4,10_5,10_6,10_7,10_8,10_9,10_10

データの読み込み

まずはcsvモジュールから。
csvファイルを、ヘッダーもインデックスもおかまいなしに1行ずつ読み込む処理です。(出力形式はlistです)

# csvをとにかく頭から1行ずつ読み込む(csvモジュールをimportする)
    with open('../data/sample.csv', 'r') as f:
        # csvをとにかく頭から1行ずつ読み込む
        reader = csv.reader(f)
        for r in reader:
            print(r)
        """
        output=>
            ['BLANK_', 'HEADER_1', 'HEADER_2', 'HEADER_3', 'HEADER_4', 'HEADER_5', 'HEADER_6', 'HEADER_7', 'HEADER_8', 'HEADER_9', 'HEADER_10']
            ['INDEX_1', '1_1', '1_2', '1_3', '1_4', '1_5', '1_6', '1_7', '1_8', '1_9', '1_10']
            ['INDEX_2', '2_1', '2_2', '2_3', '2_4', '2_5', '2_6', '2_7', '2_8', '2_9', '2_10']
            ['INDEX_3', '3_1', '3_2', '3_3', '3_4', '3_5', '3_6', '3_7', '3_8', '3_9', '3_10']
            ['INDEX_4', '4_1', '4_2', '4_3', '4_4', '4_5', '4_6', '4_7', '4_8', '4_9', '4_10']
            ['INDEX_5', '5_1', '5_2', '5_3', '5_4', '5_5', '5_6', '5_7', '5_8', '5_9', '5_10']
            ['INDEX_6', '6_1', '6_2', '6_3', '6_4', '6_5', '6_6', '6_7', '6_8', '6_9', '6_10']
            ['INDEX_7', '7_1', '7_2', '7_3', '7_4', '7_5', '7_6', '7_7', '7_8', '7_9', '7_10']
            ['INDEX_8', '8_1', '8_2', '8_3', '8_4', '8_5', '8_6', '8_7', '8_8', '8_9', '8_10']
            ['INDEX_9', '9_1', '9_2', '9_3', '9_4', '9_5', '9_6', '9_7', '9_8', '9_9', '9_10']
            ['INDEX_10', '10_1', '10_2', '10_3', '10_4', '10_5', '10_6', '10_7', '10_8', '10_9', '10_10']
        """
    '''

ただし、一回csvファイル全体を読み込んでからイテレーションをまわして1行ずつ、という挙動なので当然大容量ファイルに対しては歯が立ちません。

その場合は1行ずつ処理を行うというのが定石です。読み込んだ後に少々文字列・リストの操作が必要ですが生のPythonで書けます。

# csvをとにかく頭から1行ずつ読み込む(生python)
    with open('../data/sample.csv', 'r') as f:
        for line in f:
            line = line.rstrip('\n').split(',')
            print(line)
        """
        output=>上と同じ
        """
    '''

参考:「ヘッダーとインデックスが邪魔…中身だけほしいのに…ﾏﾁﾞﾑﾘ…」

それそれ。超わかる。csvモジュール使ってるときはこんな書き方で回避できます。

        # ヘッダー・インデックス部分をスキップして残りを読み込む方法
        with open('../data/sample.csv', 'r') as f:
            reader = csv.reader(f)
            # ヘッダー部分を抽出しておいておく
            header = next(reader)
            for r in reader:
                # 残りの各行のインデックス部分を省く
                print(r[1:])

        """
        output=>
            ['1_1', '1_2', '1_3', '1_4', '1_5', '1_6', '1_7', '1_8', '1_9', '1_10']
            ['2_1', '2_2', '2_3', '2_4', '2_5', '2_6', '2_7', '2_8', '2_9', '2_10']
            ['3_1', '3_2', '3_3', '3_4', '3_5', '3_6', '3_7', '3_8', '3_9', '3_10']
            ['4_1', '4_2', '4_3', '4_4', '4_5', '4_6', '4_7', '4_8', '4_9', '4_10']
            ['5_1', '5_2', '5_3', '5_4', '5_5', '5_6', '5_7', '5_8', '5_9', '5_10']
            ['6_1', '6_2', '6_3', '6_4', '6_5', '6_6', '6_7', '6_8', '6_9', '6_10']
            ['7_1', '7_2', '7_3', '7_4', '7_5', '7_6', '7_7', '7_8', '7_9', '7_10']
            ['8_1', '8_2', '8_3', '8_4', '8_5', '8_6', '8_7', '8_8', '8_9', '8_10']
            ['9_1', '9_2', '9_3', '9_4', '9_5', '9_6', '9_7', '9_8', '9_9', '9_10']
            ['10_1', '10_2', '10_3', '10_4', '10_5', '10_6', '10_7', '10_8', '10_9', '10_10']
        """

データの書き込み

では、csvに書き込みを行いたい場合。

# 文字列をとにかく1行ずつcsvに書き出す(生python wは上書き、aは追記)
with open('../data/sample2.csv', 'w') as f:
    for i in range(10):
        f.write(str(i + 1) + '行目1列目の書き込みです')
        f.write(',')  # csvなのでカンマで列を区切る
        f.write(str(i + 1) + '行目2列目の書き込みです')
        # 行の最後には改行を忘れないこと
        f.write('\n')
    '''
    output=>
        1行目1列目の書き込みです,1行目2列目の書き込みです
        2行目1列目の書き込みです,2行目2列目の書き込みです
        3行目1列目の書き込みです,3行目2列目の書き込みです
        4行目1列目の書き込みです,4行目2列目の書き込みです
        5行目1列目の書き込みです,5行目2列目の書き込みです
        6行目1列目の書き込みです,6行目2列目の書き込みです
        7行目1列目の書き込みです,7行目2列目の書き込みです
        8行目1列目の書き込みです,8行目2列目の書き込みです
        9行目1列目の書き込みです,9行目2列目の書き込みです
        10行目1列目の書き込みです,10行目2列目の書き込みです
    '''

csvモジュールを使って書いてみるとこんな感じ。

with open('../data/sample2.csv', 'w') as f:
    writer = csv.writer(f, lineterminator='\n') # 改行コード（\n）を指定しておく
    for i in range(10):
        one_row = [str(i + 1) + '行目1列目の書き込みです', str(i + 1) + '行目2列目の書き込みです']
        writer.writerow(one_row)     # listを渡す
    '''
    output=>上と同じ
    '''

文字列やリストの操作を逐一行わなければなりませんが、生のpythonで書く場合とcsvモジュールを使う場合で様子が変わってきます。

どっちがより優れているというよりかは、自身の状況に応じて使い分けるのがいいかと思います。それぞれに便利なポイントが違ってくるので。

…とか何とか言ってきれいに締めようとしていますが、言いたいことはこれで終わりではありません。

生pythonとcsvモジュールの違いを並べてみたうえで、次回の記事では最近データ処理で使ったPandasについて書こうと思います。

大容量ファイルをさばくのにまさにうってつけ、って感じだったので。

あと、メモリ消費との関係なんかについても言及できたらと思います。

それでは。