環境

Python 3.12.1
pandas 2.2.2

はじめに

pandas.Seriesにはpandas.NA, numpy.nan, Noneが含まれています。dtypeはobjectです。
どの要素にpandas.NAが含まれているかを調べたいです。

Series.to_csv()で出力すると、pandas.NA,numpy.na, Noneはすべて空文字で出力されて、区別できません。したがって、pandas.NAを"???"などの目立つ文字列にreplace()で置換してから、Series.to_csvで出力してみました。しかしCSVの中身は、pandas.NAだけでなくnumpy.naやNoneも"???"に変換されていました。

`Series.replace`の動作を確認する

pandas.Series.replaceの動作を確認しました。

In [132]: import pandas as pd
In [132]: import numpy as np

In [133]: s = pd.Series(["a", pd.NA, np.nan, None], dtype="object")

In [121]: s.replace({pd.NA: "???"})
Out[121]:
0      a
1    ???
2    ???
3    ???
dtype: object

In [124]: s.replace({np.nan: "???"})
Out[124]:
0      a
1    ???
2    ???
3    ???
dtype: object

In [122]: s.replace({None: "???"})
Out[122]:
0      a
1    ???
2    ???
3    ???
dtype: object

replace()では、pandas.NA,numpy.na, Noneは同じ値として、置換されるようです。

補足: dtypeが`string`や`Float64`,`Int64`ならば、`pandas.NA`を`numpy.nan`や`None`に置換できない

dtypeがstringやFloat64,Int64などでは、pandas.NAをnumpy.nanやNoneに置換できません。dtypeがstringやFloat64,Int64のSeriesでは、欠損値はpandas.NAに変換されます。

In [135]: s2 = pd.Series(["a",pd.NA], dtype="string")

In [136]: s2.replace({pd.NA:np.nan})
Out[136]:
0       a
1    <NA>
dtype: string

In [137]: s2.replace({pd.NA: None})
Out[137]:
0       a
1    None
dtype: object

replace()に限らず、直接設定するときも同様です。

In [140]: s2[1]=np.nan

In [141]: s2
Out[141]:
0       a
1    <NA>
dtype: string

In [142]: s2[1]=None

In [143]: s2
Out[143]:
0       a
1    <NA>
dtype: string