#この記事について
pandasは2020年7月28にバージョン1.0から1.1.0にアップデートされました。この記事で1.1.0の主な追加機能と、N番煎じではありますが、2020年1月の0.25.3から1.0.0へアップデートにおける主な追加機能についてまとめています。
2020年12月26日にバージョン1.2にアップデートされたので、追記をしました。

公式の情報は

を参照ください。

検証環境

バージョン1.0は1.0.5、1.1は1.0.0、1.2は1.2.0で検証しています。0.25は0.25.1で検証しています。

1.0

pd.NA

0.25まではmissing valueを表すのに、floatなら np.nan、object(文字列)ならば np.nan or None、時刻データならば pd.NaT、と様々な値が使われていた。

1.0でmissing valuesを表すのにpd.NAが導入された。

例えば、

pd.Series([1, 2, None], dtype="Int64")

の3要素目はバージョン0.25ではnp.nanだったのが、1.0ではpd.NAとなる。

0.25まではmissing（np.nan）が存在する数値カラムは強制的にfloat64になってしまっていたが、1.0ではpd.NAが存在するInt8型のカラムというのも可能。

string(StringDtype)型

stringデータのSeries（DataFrameのカラム)を表す型　string(StringDtype)型が追加された。文字列のSeries（or カラム）を扱うときはstring型の使用を推奨とのこと。

0.25まではstringデータを含むSeries（or カラム）を表すのはobject型だったため、

pd.Series(['abc', True, 'def'], dtype="object")

(文字とbooleanの混合)が許されてしまう表現しかできなかったが、

1.0からは

pd.Series(['abc', 'def'], dtype="string")

とすれば、そのSeries（or カラム）は文字列だけ許されることになる。

pd.Series(['abc', True, 'def'], dtype="string")

はエラー。

pd.Series(['abc', 'def', None], dtype="string")

の3要素目はpd.NA。

ただし

pd.Series(['abc', True, 'def'])

(dtypeの指定なし)は従来通りobject型で、この表現も許容される。

boolean(booleanDtype)型

booleanデータを表す型　boolean(booleanDtype)型が追加された。boolean(TrueまたはFalse)のSeries（or カラム）を扱うときはboolean型の使用を推奨。

pd.Series([True, False, 0], dtype="booleal")

はエラー。（dtypeの指定が無しならば、エラーなく許容。`dtype="bool" ならば0はFalseに変換される）

missing valueの取扱については、

pd.Series([True, False, np.nan])
pd.Series([True, False, None])

の3要素目はそれぞれnp.nan、Noneだが

pd.Series([True, False, np.nan], dtype="boolean")
pd.Series([True, False, None], dtype="boolean")

とすると、3要素目はいずれもpd.NAとなる。

pd.Series([True, False, np.nan], dtype="bool")
pd.Series([True, False, None], dtype="bool")

の場合は、3要素目はそれぞれTrue、Falseになる。

convert_dtypes関数

df = pd.DataFrame({'x': ['abc', None, 'def'],
                   'y': [1, 2, np.nan],
                   'z': [True, False, True]})

はx列：object、y列：float64、z列：bool となる。せっかくstring型、boolean型ができたのに...

そこで、

df.convert_dtypes()

で、x列：string、y列：Int64、z列：boolean と変換される。Noneやnp.nanもこれでpd.NAとなる。

以上NAと型についての機能ははexperimentalな機能なため、変更の可能性があります。

ignore_index 引数

DataFrame.sort_values() と DataFrame.drop_duplicates() にignore_index引数が追加された。ignore_index=Trueでソート後などのindexが0から順に振り直される。pandasのindexうざい派には朗報。

1.1

dtype="string", astype("string")

pd.Series([1, "abc", np.nan], dtype="string")
pd.Series([1, 2, np.nan], dtype="Int64").astype("string")

ですべての要素が文字列に。1.0までは要素がすべて文字列かnanじゃないとエラー。

groupby

df = pd.DataFrame([[1, 2, 3], [1, None, 4], [2, 1, 3], [1, 2, 2]], columns=["a", "b", "c"])

df.groupby(by=["b"], dropna=False).sum()

の結果が

のようになり、byで指定したカラムの値がNAの行ついても集計される。Rのdplyrのgroup_byと同じような挙動。

dropna=True、もしくは指定なしの場合は、byで指定したカラムの値がNAの行は集計されない。

1.2

インデックスやカラム名の重複を許可しない属性の追加、to_csvにバイナリオブジェクトへの出力機能の追加などありますが、あまり使わなそうな内容が多いという印象です。
使いそうなのが、1.0で追加されたboolean型やstring形やInt64のFloat版の追加でした。ただし、Experimentalです。

pd.Series([1, 2, None])

の3要素目はnp.nanですが、

pd.Series([1, 2, None], dtype="Float64")

のとすると、3要素目はpd.NAとなります。また、

pd.Series([1, 2, "a"])
pd.Series([1, 2, "a"], dtype="Float64")

の前者はobject型となりますが、後者は許されません（エラー）。

比較演算に関して、

pd.Series([1, 2, None]) > 1

の出力は

0    False
1     True
2    False
dtype: bool

となりますが、

pd.Series([1, 2, None], dtype="Float64") > 1

の出力は

0    False
1     True
2     <NA>
dtype: boolean

となります。