Snowparkとは

クラウド型DWHのSnowlakeから今年の6月にリリースされた新機能です。
Snowflake内のデータを操作するAPIでSnowflakeの計算リソースを使って処理の実行をすることができます。
現在はScalaのみサポートしてるみたいです。

試してみた

今回はSnowparkを使ってUDF（ユーザー定義関数）を使ってみようと思います。
SnowflakeではSQL、JavaScript、JavaのUDFをサポートしています。

Snowparkではudf()を使うことで簡単にUDFを定義することができます。
今回は受け取った値に対して1を追加するUDFにします。
select()に対してUDFの対象となるカラムを指定して渡してあげます。
udf()の呼び出しはセッションの接続後に来るようにしないと落ちます。

Main.scala

import com.snowflake.snowpark.Session
import com.snowflake.snowpark.functions._

object Main {
  def main(args: Array[String]): Unit = {
    val session = Session.builder.configFile(getClass.getResource("/profile.properties").getPath).create

    val addOne = udf((x: Int) => x + 1)

    session.table("table1").select(col("col2"), addOne(col("col2")).name("addOne")).show()
    session.close()
  }
}

ちゃんと１が追加されてました！

UDFの実行前にUDFの登録も良い感じにやってくれてます。

書き慣れた言語でUDFが書けるとクエリの幅も広がって良さそう⛄️