Higher-order functions | Databricks on AWS [2022/9/8時点]の翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
Databricksでは、Apache Spark SQLで配列を操作するための専用のプリミティブを提供しています。これによって、配列をより簡単かつ正確に操作できる様になり、通常必要となる大量の定型コードが不要となります。このプリミティブは、2つの関数プログラミングの構造、高階関数と匿名(ラムダ)関数を使用します。これらはSQLで配列を操作する関数を定義するために共に動作します。高階関数は配列を受け取り、配列をどの様に処理するのか、計算結果がどの様なものであるのかを実装します。配列のそれぞれの要素をどの様に処理するのかはラムダ関数に移譲します。
高階関数のイントロダクションノートブック
Pythonの高階関数チュートリアルノートブック
Apache Sparkのビルトイン関数
Apache Sparkには、高階関数を含む複雑なデータ型(array型など)を操作するためのビルトイン関数があります。
以下のノートブックでは、Apache Sparkのビルトイン関数を説明しています。
Apache Sparkビルトイン関数ノートブック