CSVデータを扱っていると、いつの間にか同じデータが複数行入っていることがあります。

数十行ならExcelで確認できますが、数千〜数万行になると目視での確認は現実的ではありません。

Pythonの pandas を使えば、CSVの重複確認から削除、結果の保存まで簡単に自動化できます。

この記事では、

CSVに重複があるか確認する
完全に同じ行を削除する
特定の列を基準に重複を削除する
複数列を使って重複を判定する
元データを壊さず保存する
CSVの文字コード問題に対応する

という実務で使いやすい方法を紹介します。

1. pandasをインストールする

まだpandasをインストールしていない場合は、次のコマンドを実行します。

pip install pandas

Pythonから読み込みます。

import pandas as pd

2. CSVファイルを読み込む

まずCSVを読み込みます。

import pandas as pd

df = pd.read_csv("input.csv")

print(df.head())
print("行数:", len(df))

処理前の行数を記録しておくと、後で何行削除されたのか確認できます。

3. 重複している行を確認する

いきなり削除するのではなく、まず重複を確認します。

duplicates = df[df.duplicated()]

print(duplicates)

重複行の件数だけ確認する場合は、

print("重複行数:", df.duplicated().sum())

で確認できます。

実務データでは、削除前に「何が重複しているのか」を確認しておく方が安全です。

4. 完全に同じ行を削除する

すべての列が同じ行を重複として削除する場合は、drop_duplicates() を使います。

cleaned = df.drop_duplicates()

print("処理前:", len(df))
print("処理後:", len(cleaned))
print("削除数:", len(df) - len(cleaned))

例えば1000行のCSVから50行の重複が削除された場合、

処理前: 1000
処理後: 950
削除数: 50

となります。

元の df を直接変更せず、cleaned という別の変数に結果を入れておくと確認しやすくなります。

5. 特定の列を基準に重複を削除する

実際の業務では「行全体が同じか」ではなく、顧客IDやメールアドレスなどを基準に重複を判定したい場合があります。

例えば次のようなCSVです。

customer_id,name,email
1001,田中太郎,tanaka@example.com
1002,山田花子,yamada@example.com
1001,田中太郎,tanaka@example.com

customer_id を基準に重複を削除する場合は、

cleaned = df.drop_duplicates(
    subset=["customer_id"],
    keep="first"
)

とします。

keep="first" は最初に出てきたデータを残します。

最後のデータを残したい場合は、

cleaned = df.drop_duplicates(
    subset=["customer_id"],
    keep="last"
)

とします。

6. 複数の列を使って重複判定する

名前だけを基準にすると、同姓同名の別人まで削除してしまう可能性があります。

その場合は複数列を指定します。

cleaned = df.drop_duplicates(
    subset=["name", "email"],
    keep="first"
)

これなら、

名前とメールアドレスの両方が一致した場合

だけ重複として扱えます。

CSVの重複削除では、プログラムそのものよりも、

何をもって「同じデータ」と判断するのか

を最初に決めることが重要です。

7. 重複データをすべて確認する

削除対象になりそうなデータをまとめて確認したい場合は、

duplicates = df[
    df.duplicated(
        subset=["customer_id"],
        keep=False
    )
]

print(duplicates)

とします。

keep=False を指定すると、重複しているグループ全体を確認できます。

削除前のチェックに便利です。

8. 元CSVを上書きしない

業務データを扱う場合、いきなり元ファイルを上書きするのはおすすめしません。

別ファイルとして保存します。

cleaned.to_csv(
    "output.csv",
    index=False,
    encoding="utf-8-sig"
)

これなら、

input.csv   ← 元データ
output.csv  ← 重複削除後

という形で両方を残せます。

9. CSVの文字コードにも注意する

CSV処理で意外と多いのが文字コードの問題です。

例えばWindowsやExcelから出力されたCSVでは、UTF-8ではなくCP932（Shift_JIS系）が使われていることがあります。

UTF-8で読み込めない場合は、

df = pd.read_csv(
    "input.csv",
    encoding="cp932"
)

を試せます。

逆に、処理後のCSVをExcelでも開きやすくしたい場合は、

cleaned.to_csv(
    "output.csv",
    index=False,
    encoding="utf-8-sig"
)

のように保存できます。

10. 実務では「重複削除だけ」で終わらない

実際のCSVデータでは、単純な重複以外にも、

文字コードの違い
不要な空白
空欄
NULL
列の不足
表記揺れ
Excel由来のデータ
同じ顧客なのに表記が違う

などが混在することがあります。

例えば、

株式会社ABC
(株)ABC
株式会社ＡＢＣ
株式会社ABC

は、人間には同じ会社に見えても、そのままでは別の文字列として扱われます。

そのため実務では、

CSV読み込み
↓
文字コード確認
↓
データ整形
↓
重複判定
↓
重複削除
↓
件数確認
↓
別ファイルへ保存

という順番で処理した方が安全です。

11. 最小構成ならこれだけでも使える

単純に完全一致する重複行を削除するだけなら、次のコードで処理できます。

import pandas as pd

input_file = "input.csv"
output_file = "output.csv"

df = pd.read_csv(input_file)

before = len(df)

cleaned = df.drop_duplicates()

after = len(cleaned)

cleaned.to_csv(
    output_file,
    index=False,
    encoding="utf-8-sig"
)

print("処理前:", before)
print("処理後:", after)
print("削除数:", before - after)
print("出力:", output_file)

これだけでも、手作業で重複行を探すよりかなり楽になります。

12. 定型的なCSV作業は自動化できる

毎日・毎週同じようなCSV整理をしている場合、

CSVを受け取る
↓
内容をチェック
↓
重複を削除
↓
CSVを生成
↓
結果を返す

まで自動化できます。

私自身も、この考え方を使ってCSV処理を自動化する仕組みを構築しています。

Python環境を用意せず、CSVファイルをアップロードして重複削除を行いたい場合は、こちらでも試せるようにしています。

ブラウザからCSVを処理する場合

Python環境を用意せずにCSVの重複削除を行いたい場合は、こちらから利用できます。

CSV重複データ削除｜AutoWorks Lab

まとめ

CSVの重複削除自体は、pandasなら非常に簡単です。

cleaned = df.drop_duplicates()

ただし実務では、

何を重複と判断するか
どのデータを残すか
文字コードをどうするか
元ファイルを保護するか
処理前後の件数を確認するか

まで考えることが重要です。

特に業務データでは、いきなり削除するのではなく、

確認 → 重複判定 → 削除 → 件数確認 → 別ファイル保存

という流れにしておくと安全です。