Pysparkで、特定のカラムの特定の文字列を削除したい

Pysparkを使って、sparkデータフレーム内の特定のカラムの特定の文字列を削除する方法です。

「Pyspark 特定の文字列削除」と検索したが、

Pythonで文字列を削除する

一旦Pandasデータフレームに変換するといいですよ

という検索結果しか出ず「あたいはPysparkで文字が消してえんだよ」と嘆かれた方には参考になるかもしれません。

とりあえず、CSVを読み込む

#サンプルデータを定義
sample_data = [{"age": '2', 'name': '✗Alice◎'}, 
               {"age": '5', 'name': '✗Bob◎'}]

#サンプルデータをSparkDataFrame化
df_sample = spark.createDataFrame(sample_data)

#内容確認
df_sample.show()

[結果]
+---+-------+
|age|   name|
+---+-------+
|  2|✗Alice◎|
|  5|  ✗Bob◎|
+---+-------+

サンプルのデータを用意し、Sparkデータフレームにしてみました。
年齢と名前という簡単なデータですが、よく見ると名前にバツ・マルという2つの不要な文字列がくっついています。

このデータのように、システムから自動で引っ張ってくると、たま〜に余計な文字列が付随してくること、ありますよね。
では、ここから邪魔なバツ・マルをPysparkのコマンドを使って削除していきたいと思います。

regexp_replaceを使う

結論、こんな感じで書くことが出来ます！

from pyspark.sql.functions import regexp_replace,col
sample_df_regex = (
    sample_df
    .select(
        "age",
        regexp_replace(col("name"),"✗","").alias("name")
        )
    .select(
        "age",
        regexp_replace(col("name"),"◎","").alias("name")
        )
)

[結果]
+---+-----+
|age| name|
+---+-----+
|  2|Alice|
|  5|  Bob|
+---+-----+

ここではメインとして「regexp_replace」というコマンドを使っています。

regexp_replace(col("<操作したいカラム名>"),"<削除したい文字列>","")

これをSparkデータフレームのオプション「select」内で使うことにより、削除したい文字列を空白にreplaceすることが出来る、つまり削除できるというもの。
削除するというか、空白に置換するってイメージですね！
もちろん置換なので、任意の文字列に変換することも出来るようです。

また、そのままだと操作を加えたカラムの名前が「regexp_replace(col("<操作したいカラム名>"),"<削除したい文字列>",,<カラム番号>」というヘンテコなものになってしまうので、そのあと「.alias("元のカラム名")」を使って元に戻しています。

このやり方の少し面倒なところが、一度に1文字列しか削除できないということ。
このため、バツ・マルを「✗」「◎」の二度に分けて削除しています。
これが少し面倒。Pysparkがもう少し気を利かせくれれば…

今回は以上となります。
ぜひ、上のコマンドに消したい文字列を入れて試してみてくださいね。

このシリーズの目的

クラウドストレージに蓄積された生データ（CSV,JSON等）を加工するのに必要なPysparkの知識を溜めていく、まさにPysparkに関するトリビアのDalta Lakeを目指しています。
Pysparkに関する記事はまだ海外のものが多く、このシリーズが私のような国内の駆け出しデータエンジニアの一助になることを願っています。