Pythonでネストされたリスト（リストのリスト）を平坦化（フラット化）する際、なぜかsum(list, [])を使ってしまい、本番環境で遅延に悩まされた経験があるかもしれません。シニアエンジニアとして、データの規模や目的に応じて適切な手法を選ぶことが重要だと感じています。特に大量データを扱う場合、パフォーマンスのボトルネックを避けるための決定版テクニックを紹介します。
何が起きたか（課題）
ネストされたリストのフラット化はよくある操作ですが、手法を誤るとシステム全体に影響を与えます。
- 意図せずO(N^2)の計算量を持つ
sum(nested_list, [])を使用してしまい、データ量が増加すると処理時間が爆発的に増加した。 - 単純な二重のforループでは、リスト内包表記や標準ライブラリの機能に比べてコードが冗長になりがちだった。
- 数値計算を行う際に、NumPy環境下でPythonのネイティブなループを使うのは明らかに遅すぎるという問題があった。
どう解決したか（概要）
現場で採用すべきフラット化の手法を、効率性、可読性、データ特性に基づいて3つに絞り込みました。最も推奨するのは、メモリ効率と速度に優れた標準ライブラリのitertoolsの活用です。
-
最速・高効率:
itertools.chain.from_iterable(nested_list)を使用し、遅延評価されるイテレータとして結果を取得。これにより、大規模データでもメモリ消費を抑えられます。 -
可読性重視: リスト内包表記
[item for sublist in nested_list for item in sublist]を利用。コードが簡潔になり、小～中規模データでは十分な速度が出ます。 -
数値データ特化: NumPy環境下では、
numpy.concatenate()を使って配列として結合するのが最も高速です。
非推奨のsum()は、結合のたびに新しいリストを生成するため、パフォーマンス劣化の主要因となることを確認しました。
【推奨】itertools.chainによる高速な平坦化
大規模処理の鍵はイテレータです。itertools.chain.from_iterableを使うと、リスト全体をメモリに展開せずに処理できます。これは本番環境でボトルネックを解消するための必須テクニックです。
import itertools
# 推奨される書き方
flat_list_iterator = itertools.chain.from_iterable(nested_list)
【Pythonic】リスト内包表記の活用
可読性とPythonらしさを優先するなら、二重ループのリスト内包表記が最適です。これは標準的なforループよりも高速に動作します。
# 二重ループのリスト内包表記
flat_list = [item for sublist in nested_list for item in sublist]
大規模数値データ向け：NumPyの利用
データサイエンス系であれば、numpy.concatenateを利用するのが最速です。結果はNumPy配列として得られます。
import numpy as np
# arrayにしてからflattenするのも速い
flat_array = np.array(nested_list).flatten()
効果（Before/After）
手法選択により、特にデータセットの規模が大きくなるにつれて顕著なパフォーマンス改善が見られました。
-
Before (
sum()利用時): 10万要素のリストで数秒の処理時間を要していた。 -
After (
itertools.chain.from_iterable利用時): 同様の処理をミリ秒単位で完了。メモリ使用量も劇的に改善。
現場で最も重要なのは、避けるべき手法（sum()関数によるO(N^2)）を特定し、データ規模に応じた適切なツールを選択することです。
🚀 詳細な設定とコードはこちら
具体的なコード例や、なぜsum()が遅いのかのパフォーマンス比較（ベンチマーク結果）など、さらに詳細な解説は元のブログ記事で確認できます。