本記事は、Pyspark操作時のnullの扱いや、nullに関わる関数の実行結果について、簡単にまとめたものとなっております。

0 データ準備

各操作では、以下のデータフレームを使用して行うものとする。
(データフレームの名前はdfとする。)

1 実行例

Pysparkでは、sort()やorderBy()の使用時、デフォルトの場合ではnullが先頭に来るように並び替えられる。

Pyspark

df1 = df.orderBy("id")
display(df1)

実行結果

nullが一番後ろに来るように並び替えたい場合には、
昇順 → asc_nulls_last()
降順 → desc_nulls_last()
を使用する。

Pyspark

from pyspark.sql.functions import col 

df2 = df.orderBy(col("id").asc_nulls_last())
display(df2)

実行結果

dropna()を用いる事で、列内にnullが1つでも含まれている行の消去が可能である。

Pyspark

df1 = df.dropna()
display(df1)

id	item_name	price
001	apple	100
002	banana	80

またオプションとして、how='all'をつける事で、全ての値がnullである行を消去する事も可能である。
(今回の例のデータフレームではそのような行は存在しないため、そのままのデータが返される。)

詳しいオプションについては、以下のドキュメントを参照。

isNull()を用いる事で、特定のカラムでnullを含む行のみを取り出すことが可能である。

Pyspark

df1 = df.filter(col("id").isNull())
display(df1)

実行結果

id	item_name	price
null	orange	120

また、isNotNull()を用いる事で、nullを含まない行のみを取り出すことも可能である。

Pyspark

df2 = df.filter(col("id").isNotNull())
display(df2)

実行結果

fillna()を用いる事で、nullを別の値に置き替える事が可能である。

Pyspark

df1 = df.fillna('unknown')
display(df1)

実行結果

引数内のデータ型と一致するカラムのみが置き替えの対象となるため、id列のnullはunknownに置き換わるが、price列のnullは変化しない。

また、coalesce()を用いる事で、nullを別のカラムの値で置き替えることが可能である。

Pyspark

from pyspark.sql.functions import coalesce

df2 = df.select(coalesce(col("id"), col("item_name")))
display(df2)

実行結果

上記の例では、id列内のnullについて、item_name列の同じ行の値(orange)に置き換えられている。

また下記の例のように、lit()を組み合わせる事で、nullを特定の固定値に設定し直す事も可能である。

Pyspark

from pyspark.sql.functions import lit

df3 = df.select(coalesce(col("id"), lit("unknown")))
display(df3)

実行結果