Machine learning and deep learning environment setup guide | Databricks on AWS [2021/6/16時点]の翻訳です。
Databricks機械学習ランタイム(Databricks Runtime ML)は、機械学習、データサイエンスに最適化されたすぐに利用できる環境です。Databricks Runtime MLには、TensorFlow、PyTorch、Horovod、scikit-learn、XGBoostを含む外部ライブラリが多く含まれており、XGBoostにおけるGPUアクセラレーション、HorovodRunnerによる分散ディープラーニング、Databricks File System (DBFS) FUSE mountを用いたモデルのチェックポイントのような性能改善のための拡張が行われています。
Databricks Runtime MLを使用するには、クラスターを作成する際にMLバージョンのランタイムを選択します。
追加ライブラリのインストール
お使いのノートブックやクラスターでカスタムの環境を作成するために、追加のライブラリをインストールすることができます。
- クラスターで実行する全てのノートブックで利用できるライブラリを作成するために、クラスターライブラリを作成します。クラスター作成時にライブラリをインストールするために、init scriptを使用することもできます。
- 特定のノートブックセッションでのみ利用できるライブラリをインストールするには、ノートブックスコープのPythonライブラリを使用します。
GPU有効化クラスターの作成
ディープラーニングタスクを高速化するために、GPUが有効化されたクラスターを作成することができます。GPUが有効化されたDatabricksクラスターを作成するには、GPU-enabled clustersを参照ください。Databricks機械学習ランタイムには、GPUハードウェアドライバーとCUDAのようなNVIDIAライブラリが含まれています。