Model inference | Databricks on AWS [2021/10/4時点]の翻訳です。

モデルレジストリに登録されたモデルに対して、バッチ推論のために自動でノートブックを生成したり、オンラインサービングのためのモデルの設定を行うことができます。

MLlibとXGBoost4Jモデルを用いたスケーラブルなモデル推論においては、Saprkデータフレームに対して推論を直接実行するために、ネイティブなtransformメソッドを使用してください。推論ステップを含むMLlibサンプルノートブックをご覧ください。

他のライブラリ、モデルタイプに対しては、大規模データセットにスケールアウトするように、Spark UDF(ユーザー定義関数)を作成してください。小規模データセットに対しては、ライブラリが提供するネイティブなモデル推論ルーチンを使用してください。

モデルがMLflowに登録されている場合には、Spark UDFを作成することができます。そうでない場合には、機械学習モデルをラップするためにpandasのイテレーターUDFを使用してください。

ストリーミングアプリケーションにおいては、Apache Sparkの構造化ストリーミングAPIを使用してください。MLlib pipelines and Structured Streaming exampleを参照ください。

以下の文章では、Databricksにおけるディープラーニングモデルの推論の紹介をしています。