Apache Sparkプールのバージョンアップ

基本的な考え方

旧バージョンで動いていたコードが新バージョンで想定通りの動きをするのか確認する必要がある。

移行方法

https://learn.microsoft.com/ja-jp/azure/synapse-analytics/spark/apache-spark-version-support#migration-between-apache-spark-versions---support

考慮ポイント

・移行ガイドを確認してあたりを付ける
https://spark.apache.org/docs/latest/sql-migration-guide.html

・Delta LakeもApache Sparkのバージョンに引きずられ、バージョンがあがるが下位互換性があるため考慮しないで問題ない

https://docs.delta.io/latest/releases.html