withcolumn(s)を使用してDataFrameには存在するがテーブルには存在しない列を追加する

withcolumnを利用してDataFrameには存在するがテーブルには存在しない列を追加する場合はwrite.optionで("mergeSchema", "true")が必要。

from pyspark.sql.functions import *

# cloumn1~cloumn3を追加しそれぞれに固定値を入れる
df=spark.table(table)
df = df.withColumns({"cloumn1": current_timestamp(),"column2" : current_date(),"cloumn3":lit("0")})

# DFの内容をテーブルへ上書き
df.write.option("mergeSchema", "true").mode("overwrite").saveAsTable(table)

option指定しない場合は以下のようなエラーがでる

--240530追記
追加列の型指定の方法
追加する値の末尾に.cast("型")を入れる

from pyspark.sql.functions import *

# cloumn1~cloumn3を追加しそれぞれに固定値を入れる
df=spark.table(table)
df = df.withColumns({"cloumn1": current_timestamp().cast("timestamp"),"column2" : current_date(),"cloumn3":lit("0").cast("string")})

# DFの内容をテーブルへ上書き
df.write.option("mergeSchema", "true").mode("overwrite").saveAsTable(table)