Spark SQL - explode の使い方

explode は配列のカラムに対して適用すると各要素をそれぞれ行に展開してくれます。

// 配列のカラムを持つ DataFrame 作成
scala> val df = Seq(Array(1,2,3), Array(4,6,7), Array(9,2,5,6)).toDF
df: org.apache.spark.sql.DataFrame = [value: array<int>]

// 中身チラ見
scala> df.show
+------------+
|       value|
+------------+
|   [1, 2, 3]|
|   [4, 6, 7]|
|[9, 2, 5, 6]|
+------------+

// explode やってみる
scala> val unnestDF = df.select(explode(df("value")))
unnestDF: org.apache.spark.sql.DataFrame = [col: int]

// 変更後のスキーマ定義
scala> unnestDF.printSchema
root
 |-- col: integer (nullable = false)


// 中身チラ見
scala> unnestDF.show
+---+
|col|
+---+
|  1|
|  2|
|  3|
|  4|
|  6|
|  7|
|  9|
|  2|
|  5|
|  6|
+---+

おわり。