見逃してました。
ここでは、外部モデルをサービングエンドポイントにデプロイします。
注意
お使いのワークスペースで本機能が有効化されていない場合には、Databricks担当者までお問い合わせください。
シークレットの設定
OpenAIのAPIキーをシークレットに登録する必要があります。
Databricks CLIをインストールしたローカルマシンで以下を実行します。-p tokyoはプロファイルを指定しています。
databricks secrets create-scope demo-token-takaaki.yayoi -p tokyo
databricks secrets put-secret demo-token-takaaki.yayoi openai -p tokyo
プロンプトが表示されるのでAPIキーを入力します。
✔ Please enter your secret value:
サービングエンドポイントの作成
サイドメニューのサービングにアクセスし、Create serving endpointをクリックします。
SourceでExternal modelを選択します。
ProvideでOpenAIを選択します。
External model nameは、こちらを参考ください。gpt-3.5-turbo-instructを指定します。
OpenAI API key secret referenceには{{secret/scope/key}}の形式で指定します。今回は{{secrets/demo-token-takaaki.yayoi/openai}}となります。
これで、エンドポイントが作成されました。
右上のQuery endpointで動作確認します。
動きました！
マニュアルはこちらです。是非ご活用ください！