環境
- Python 3.11.2
- pandas 1.5.3(pandas 2.0.0ではエラーは発生しません)
In [37]: pandas.show_versions()
/home/vagrant/.pyenv/versions/3.11.2/lib/python3.11/site-packages/_distutils_hack/__init__.py:33: UserWarning: Setuptools is replacing distutils.
warnings.warn("Setuptools is replacing distutils.")
INSTALLED VERSIONS
------------------
commit : 2e218d10984e9919f0296931d92ea851c6a6faf5
python : 3.11.2.final.0
python-bits : 64
OS : Linux
OS-release : 5.15.0-60-generic
Version : #66-Ubuntu SMP Fri Jan 20 14:29:49 UTC 2023
machine : x86_64
processor : x86_64
byteorder : little
LC_ALL : None
LANG : ja_JP.UTF-8
LOCALE : ja_JP.UTF-8
pandas : 1.5.3
numpy : 1.24.2
pytz : 2022.7.1
dateutil : 2.8.2
setuptools : 65.5.0
pip : 23.0.1
Cython : None
pytest : None
hypothesis : None
sphinx : None
blosc : None
feather : None
xlsxwriter : None
lxml.etree : 4.9.2
html5lib : None
pymysql : None
psycopg2 : None
jinja2 : 3.1.2
IPython : 8.11.0
pandas_datareader: None
bs4 : None
bottleneck : None
brotli : None
fastparquet : None
fsspec : None
gcsfs : None
matplotlib : None
numba : None
numexpr : None
odfpy : None
openpyxl : None
pandas_gbq : None
pyarrow : None
pyreadstat : None
pyxlsb : None
s3fs : None
scipy : None
snappy : None
sqlalchemy : None
tables : None
tabulate : None
xarray : None
xlrd : None
xlwt : None
zstandard : None
tzdata : None
やりたいこと
ヘッダ行がないCSVファイルをpandas.read_csv関数で読み込みたいです。
input1.csv
1,Alice,Japan
2,Bob,U.S.
3,Chris,China
In [39]: df = pandas.read_csv("input1.csv", header=None, names=["id","name","country"])
In [40]: df
Out[40]:
id name country
0 1 Alice Japan
1 2 Bob U.S.
2 3 Chris China
In [41]: df.dtypes
Out[41]:
id int64
name object
country object
dtype: object
country列はオプショナルな列なので、3列目が存在しないCSVファイルも読み込めるようにしたいです。
input2.csv
1,Alice
2,Bob
3,Chris
In [43]: df = pandas.read_csv("input2.csv", header=None, names=["id","name","country"])
In [44]: df
Out[44]:
id name country
0 1 Alice NaN
1 2 Bob NaN
2 3 Chris NaN
3列目が存在しないCSVinput2.csvを読み込むことができました。
起きたこと
データが1行の場合
3列目が存在しないデータが1行しかない場合、ParserError: Too many columns specified: expected 3 and found 2が発生しました。
原因は不明です。
input3.csv
1,Alice
In [45]: df = pandas.read_csv("input3.csv", header=None, names=["id","name","country"])
---------------------------------------------------------------------------
ParserError Traceback (most recent call last)
Cell In[45], line 1
----> 1 df = pandas.read_csv("input3.csv", header=None, names=["id","name","country"])
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/util/_decorators.py:211, in deprecate_kwarg.<locals>._deprecate_kwarg.<locals>.wrapper(*args, **kwargs)
209 else:
210 kwargs[new_arg_name] = new_arg_value
--> 211 return func(*args, **kwargs)
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/util/_decorators.py:331, in deprecate_nonkeyword_arguments.<locals>.decorate.<locals>.wrapper(*args, **kwargs)
325 if len(args) > num_allow_args:
326 warnings.warn(
327 msg.format(arguments=_format_argument_list(allow_args)),
328 FutureWarning,
329 stacklevel=find_stack_level(),
330 )
--> 331 return func(*args, **kwargs)
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/io/parsers/readers.py:950, in read_csv(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, encoding_errors, dialect, error_bad_lines, warn_bad_lines, on_bad_lines, delim_whitespace, low_memory, memory_map, float_precision, storage_options)
935 kwds_defaults = _refine_defaults_read(
936 dialect,
937 delimiter,
(...)
946 defaults={"delimiter": ","},
947 )
948 kwds.update(kwds_defaults)
--> 950 return _read(filepath_or_buffer, kwds)
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/io/parsers/readers.py:611, in _read(filepath_or_buffer, kwds)
608 return parser
610 with parser:
--> 611 return parser.read(nrows)
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/io/parsers/readers.py:1778, in TextFileReader.read(self, nrows)
1771 nrows = validate_integer("nrows", nrows)
1772 try:
1773 # error: "ParserBase" has no attribute "read"
1774 (
1775 index,
1776 columns,
1777 col_dict,
-> 1778 ) = self._engine.read( # type: ignore[attr-defined]
1779 nrows
1780 )
1781 except Exception:
1782 self.close()
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/io/parsers/c_parser_wrapper.py:230, in CParserWrapper.read(self, nrows)
228 try:
229 if self.low_memory:
--> 230 chunks = self._reader.read_low_memory(nrows)
231 # destructive to chunks
232 data = _concatenate_chunks(chunks)
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/_libs/parsers.pyx:808, in pandas._libs.parsers.TextReader.read_low_memory()
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/_libs/parsers.pyx:890, in pandas._libs.parsers.TextReader._read_rows()
File ~/.pyenv/versions/3.11.2/lib/python3.11/site-packages/pandas/_libs/parsers.pyx:952, in pandas._libs.parsers.TextReader._convert_column_data()
ParserError: Too many columns specified: expected 3 and found 2
header=0を指定した場合
データが複数あるinput2.csvでも、header=0を指定して先頭行をヘッダ行とみなして読み込むと、同様のParserErrorが発生しました。
df = pandas.read_csv("input2.csv", header=0, names=["id","name","country"])
...
ParserError: Too many columns specified: expected 3 and found 2
テストコードには、このケースを確認するテストがあったので、この動きは想定通りのようです。
解決策
names引数を指定せずにCSVを読み込み、あとで列名を変更すれば解決です。
ただしコード量が増えるので、names引数を指定したときより、コードの見通しは悪いです。
In [63]: df = pandas.read_csv("input2.csv", header=None)
In [64]: df
Out[64]:
0 1
0 1 Alice
1 2 Bob
2 3 Chris
In [65]: def rename_columns(df):
...: df.rename(columns={0:"id",1:"name",2:"country"}, inplace=True)
...: if "country" not in df.columns:
...: df["country"] = numpy.nan
...:
In [66]: df
Out[66]:
id name country
0 1 Alice NaN
1 2 Bob NaN
2 3 Chris NaN
まとめ
pandsa.read_csv関数にnames引数を指定すると、想定しない動きに遭遇してハマるかもしれません。
参考にしたサイト
補足
pandasにissueを作成しました。
https://github.com/pandas-dev/pandas/issues/51924
コメントによるとメインブランチでは発生しないそうです。
次のバージョンで解決するかもしません。
panads 2.0.0で修正されました。
またengine="python"を指定するとエラーが発生しないことが分かりました。
In [18]: data2="""
...: 1,Alice
...: """
In [25]: pandas.read_csv(StringIO(data2), header=None, names=["id","name","country"], engine="python")
Out[25]:
id name country
0 1 Alice NaN
pandas.read_csvのドキュメントには「"python" engineは、"more feature-complete"」ということなので、"python" engineではエラーが出なかったんですかね。
Parser engine to use. The C and pyarrow engines are faster, while the python engine is currently more feature-complete. Multithreading is currently only supported by the pyarrow engine.