Get started with Databricks as a machine learning engineer | Databricks on AWS [2022/2/22時点]の翻訳です。
Databricksクイックスタートガイドのコンテンツです。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
ここで列挙されているクイックスタートとチュートリアルは、皆様がDatabricksで機械学習をクイックにスタートできるようにすることを狙いとしています。それぞれには、ご自身のDatabricksワークスペースにインポートして実行できるノートブックが含まれています。これらは、データロード、データ準備、モデルトレーニング、チューニング、推論、モデルデプロイメント、モデル管理を含む機械学習ライフサイクルを通じて、どうのようにDatabricksを活用するのかを説明しています。これらは、自動化ハイパーパラメーターチューニングのためのHyperopt、モデルデプロイメントのためのMLflowのトラッキング、オートロギング、モデル管理のためのモデルレジストリのような有用なツールを説明しています。
注意
これらのチュートリアルに含まれているノートブックを実行するには、チュートリアルページのノートブックの上にあるをクリックしてください。お使いのDatabricksワークスペースのブラウザで、任意のフォルダーメニューからImportを選択し、URLを貼り付けてください。ノートブックを実行するには、実行するためのクラスターが必要となります。クラスターの作成とノートブック実行の詳細については、データサイエンティストとしてDatabricksを使い始めるを参照ください。
Databricksを初めて触る方に
Databricksの機械学習を始めるには、以下の手順に従ってください。
-
データサイエンティストとしてDatabricksを使い始めるをトライしてください。
-
Databricksの機械学習環境に含まれるクイックスタートノートブックを実行してください。
このノートブックでは、MLflowによるモデル開発のトラッキングやハイパーパラメーターチューニングの並列実行など、機械学習でDatabrikcsを利用するメリットを説明しています。このノートブックでは、どのようにデータをロードし、モデルをトレーニング・チューニングし、モデルのパフォーマンスを比較・分析し、モデルを推論に使う方法をウォークスルーしています。
製品に含まれているクイックスタートノートブックを実行するには、以下のステップを踏んでください。
-
お使いのDatabricksワークスペースにログインし、Databricks Machine Learning環境に移動します。
ペルソナを変更するには、Databricksロゴ
の下のアイコンをクリックし、Machine Learningを選択します。
-
Databricks Machine Learningスタートページで、右上のStart guideをクリックします。
scikit-learnのチュートリアル
| ノートブック | 要件 | 機能 |
|---|---|---|
| 機械学習クイックスタート | Databricks機械学習ランタイム7.5以降 | 分類モデル、MLflow、HyperoptとMLflowによる自動ハイパーパラメーターチューニング |
| モデルレジストリを用いた機械学習 | Databricks機械学習ランタイム7.0以降 | 分類モデル、MLflow、HyperoptとMLflowによる自動ハイパーパラメーターチューニング、モデルレジストリ |
| エンドツーエンドのサンプル | Databricks機械学習ランタイム6.5以降 | 分類モデル、MLflow、HyperoptとMLflowによる自動ハイパーパラメーターチューニング、XGBoost、モデルレジストリ、モデルサービング |
Apache Spark MLlibチュートリアル
| ノートブック | 要件 | 機能 |
|---|---|---|
| MLlibによる機械学習 | Databricks機械学習ランタイム5.5LTS以降 | ロジスティック回帰モデル、Sparkパイプライン、MLlib APIを用いた自動化ハイパーパラメーターチューニング |
ディープラーニングチュートリアル
| ノートブック | 要件 | 機能 |
|---|---|---|
| TensorFlow Kerasを用いたディープラーニング | Databricks機械学習ランタイム7.0LTS以降 | ニューラルネットワークモデル、インラインのTensorBoard、HyperoptとMLflowを用いた自動化ハイパーパラメーターチューニング、オートロギング、モデルレジストリ |