Model inference | Databricks on AWS [2021/10/4時点]の翻訳です。
モデルレジストリに登録されたモデルに対して、バッチ推論のために自動でノートブックを生成したり、オンラインサービングのためのモデルの設定を行うことができます。
MLlibとXGBoost4Jモデルを用いたスケーラブルなモデル推論においては、Saprkデータフレームに対して推論を直接実行するために、ネイティブなtransformメソッドを使用してください。推論ステップを含むMLlibサンプルノートブックをご覧ください。
他のライブラリ、モデルタイプに対しては、大規模データセットにスケールアウトするように、Spark UDF(ユーザー定義関数)を作成してください。小規模データセットに対しては、ライブラリが提供するネイティブなモデル推論ルーチンを使用してください。
モデルがMLflowに登録されている場合には、Spark UDFを作成することができます。そうでない場合には、機械学習モデルをラップするためにpandasのイテレーターUDFを使用してください。
ストリーミングアプリケーションにおいては、Apache Sparkの構造化ストリーミングAPIを使用してください。MLlib pipelines and Structured Streaming exampleを参照ください。
以下の文章では、Databricksにおけるディープラーニングモデルの推論の紹介をしています。
- Deep learning model inference workflow
- Deep learning model inference examples
- Deep learning model inference performance tuning guide
- Databricksにおける機械学習リファレンスソリューション