pythonでCSVファイルを読み込む前の前処理
python pandasにてCSVファイルを読み込んだのですが
各カラムに入っている内容にバラつきがあります。
５列目の「年月カラム」に文字でのコメントが入っていたり、
欲しい年月が６列目にあるデータもあれば、７列目や８列目にあるデータ行もあります。
これらを整形するにはCSVファイルを手作業で修正する必要があるのでしょうか。
それとpandasなどで整形する方法がありますか？
CSV(カンマ区切り値)ファイルの各行のカンマの数はすべて同じになっていますか？
@harubishi
Questioner
@harubishi
Questioner
厄介ですね
それとpandasなどで整形する方法がありますか？
pandasは元ファイルの整形には向いていないと思います。一旦データが読めてしまえば、タイムスタンプの修正でも、ピボットテーブルでもなんでも、ほとんど思い通りになりますが。
これらを整形するにはCSVファイルを手作業で修正する必要があるのでしょうか。
イレギュラーだとしても、一応CSVファイルの体裁が整っているのなら、Pythonのcsv.readerで読んでみたらどうですか？あれなら、行ごとに要素数が違っても一応読めます。あとは、読んだ項目をregexなどでパースして、直せるところは直してダメなところは行数を出力→手動で治す、みたいな感じでやるしかないんじゃないかなぁ。
@harubishi
Questioner
