1. 概要
pandas の concat 関数を使用していて、 InvalidIndexError: Reindexing only valid with uniquely valued Index objects に出会したのだが、心当たりがなく、原因究明に時間を要したので記事にしておく。
2. 前提
| item | version など |
|---|---|
| python | 3.10 |
| pandas | 2.2.0 |
3. 発生原因
3-1. エラーにならないパターン
これは OK。
import pandas as pd
# サンプルのDataFrame
data = pd.DataFrame({
'A': [1, 2, 3],
'B': [4, 5, 6],
'C': [7, 8, 9]
},index=pd.RangeIndex(0, 3))
pd.concat([data, data], axis=0)
# 結果
A B C
0 1 4 7
1 2 5 8
2 3 6 9
0 1 4 7
1 2 5 8
2 3 6 9
エラーメッセージには Index という文言が入っているが、 Index が重複していてもエラーにはならない。
そして、なんと驚くことに、単に列名が重複していている場合にもエラーにならない。
pd.concat([data, data], axis=1)
# 結果
A B C A B C
0 1 4 7 1 4 7
1 2 5 8 2 5 8
2 3 6 9 3 6 9
じゃあ何がエラー原因なんだい？
3-2. わかりやすいエラー原因
3-2-1. concat 前から Index 重複
元々 Index が1つ以上重複する DataFrame を axis=1 方向に concat しようとすると発生する。以下のような状況。
df1 = pd.DataFrame(
{"体重": [50.1, 69.3], "身長": [163.4, 178.1]},
index =["たじまさん", "Kevin"]
)
df2 = pd.DataFrame(
{"学歴": ["大卒", "大卒"], "総資産": [1e10, 1.2e12]},
index =["たじまさん", "たじまさん"] # concat 前から index 重複
)
pd.concat([df1, df2], axis=1)
# 結果
InvalidIndexError: Reindexing only valid with uniquely valued Index objects
どうやら、 concat で結合する前から index が重複しているとエラーになるらしい。
3-2-2. concat 前から columns 重複
元々 Columns が名1つ以上重複する DataFrame を axis=0 方向に concat しようとしてもエラーが発生する。以下のような状況。
サンプルデータを作るのが少し難しいが、以下のようなパターンがありうる。
df1 = pd.DataFrame(
{"体重": [50.1, 69.3], "身長": [163.4, 178.1]},
index =["たじまさん", "Kevin"]
)
df1
# 結果
体重 身長
たじまさん 50.1 163.4
Kevin 69.3 178.1
上の DataFrame はよくある形式。
一方、下のような DataFrame は、手を入れないと作れない。
seriesA = pd.Series([42.6, 48.5], name="体重")
seriesB = seriesA.copy()
df2 = pd.concat([seriesA, seriesB], axis=1)
df2.index = ["よこたさん", "Comet"]
df2
# 結果
体重 体重
よこたさん 42.6 42.6
Comet 48.5 48.5
こういうのを縦 (axis=0) に concat するとエラーが出る。
pd.concat([df1, df2], axis=0)
# 結果
InvalidIndexError: Reindexing only valid with uniquely valued Index objects
ここまでは色々な記事に書かれているので、これが原因だったらすぐに気がつけると思う。
3-3. 見落としがちなパターン
ここからは、なかなか気がつきにくいパターン。
再度、同じ列名を含む DataFrame に登場してもらう。
seriesA = pd.Series([1, 2, 3], name='A')
seriesB = pd.Series([4, 5, 6], name='A')
df_A = pd.concat([seriesA, seriesA, seriesB], axis=1)
df_A
# 結果
A A A
0 1 1 4
1 2 2 5
2 3 3 6
実は、こういう DataFrame も、縦 (axis=0) 方向に結合できる。
pd.concat([df_A, df_A], axis=0)
# 結果
A A A
0 1 1 4
1 2 2 5
2 3 3 6
0 1 1 4
1 2 2 5
2 3 3 6
自分の場合はこうした上記のような処理を書いていた。
ところが、入力データの形式によって、たまたま、1列だけ列名が変わることがあった。
出来上がったデータはこんな感じ。
seriesA = pd.Series([1, 2, 3], name='A')
seriesC = pd.Series([7, 8, 9], name='C')
df_C = pd.concat([seriesA, seriesA, seriesC], axis=1)
df_C
# 結果
A A C
0 1 1 7
1 2 2 8
2 3 3 9
これを df_A と縦に concat したら、以下のようになりそうなのだけど、、、
A A A C
0 1 1 4 Nan
1 2 2 5 Nan
2 3 3 6 Nan
0 1 1 Nan 7
1 2 2 Nan 8
2 3 3 Nan 9
実際は InvalidIndexError になる。
pd.concat([df_A, df_C], axis=0)
# 結果
InvalidIndexError: Reindexing only valid with uniquely valued Index objects
4. 考察
要は、 「Reindexing (自動での Index や Columns 書き換え)」 が肝なのだろう。
- 「Reindexing」がなければ、 Index、 Columns が重複してようが問題ない
- 「Reindexing」が pandas 内で自動で実行されるときは、重複した Index や Columns を持ってきてはならない
ということだと思われる。
つまり、 Columns や Index の書き換えが発生せずに、元のままで結合後の DataFrame が作られる時は、エラーは発生しない。