DatabricksとLabelboxの連携

Labelbox | Databricks on AWS [2022/1/12時点]の翻訳です。

本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。

Labelboxは画像、音声、テキスト、タイル画像からトレーニングデータを作成する際に使用されるトレーニングデータプラットフォームです。Labelboxを用いることで、AIチームは単一の統合されたプラットフォームでデータラベリング、データカタログ作成、モデルのデバッグをオペレート、管理、改善するためのワークフローをカスタマイズすることができます。Labelboxは、AIチームによるプロダクションレベルの機械学習システムの構築・運用を支援するように設計されています。

Databricks機械学習ランタイムが稼働しているDatabricksクラスターをLabelboxに接続することができます。

Partner ConnectによるLabelboxへの接続

注意
すでにLabelboxのアカウントをお持ちの場合、手動でのLabelboxへの接続までスキップすることをお勧めします。これは、Partner Connectにおける新規接続のエクスペリエンスが新規Labelboxアカウントに最適化されているためです。

1. お使いのDatabricksアカウント、ワークスペース、サインインしているユーザー全てがPartner Connectの要件に合致していることを確認します。

2. サイドバーでPartner Connectをクリックします。

3. Labelboxタイルをクリックします。

   注意
   Labelboxタイルにチェックマークアイコンがある場合、お使いのワークスペースの他の誰かがすでにMLクラスターと関連するDatabricksサービスプリンシパルを作成しており、ノートブックlabelbox_databricks_exampleがワークスペースのWorkspace/Shared/labelbox_demoに追加されていることを意味しています。手動でのLabelboxへの接続までスキップしてください。

4. Connect to partnerダイアログでNextをクリックします。Partner Connectがお使いのワークスペースに以下のリソースを作成します。

   • LABELBOX_CLUSTERという名前のMLクラスター
     (Nextをクリックする前にデフォルト名を変更することができます)
   • LABELBOX_USERという名前のDatabricksサービスプリンシパル

5. Emailには、新規Labelboxアカウントに使用したいメールアドレスを入力します。

6. Connect to Labelboxをクリックします。

7. 新規Labelboxアカウントでサインアップするための画面上の指示に従います。

8. 新規Labelboxアカウントにサインインしたあとで、存在しない場合、Partner Connectはお使いのワークスペースに以下のリソースを作成します。

   • サービスプリンシパルLABELBOX_USERと紐づけられるDatabricksパーソナルアクセストークン
   • Workspace/Shared/labelbox_demoフォルダ配下にlabelbox_databricks_example.ipynbというノートブック

9. お使いのLabelboxアカウントに対するLabelbox APIキーを作成します。最終的にキーは表示されなくなりますので、APIキーをコピーしセキュアな場所に保存します。

10. MLクラスターとLabelboxスターターノートブックのセットアップまでスキップします。

Labelboxへの接続

以下では、LabelboxのDatabricksクラスターへの接続手順を説明します。

注意
より迅速に接続するには、Partner Connectを使ってください。

1. Databricks機械学習ランタイムが稼働しているクラスターが必要となります。既存のクラスターを確認するには、ワークスペースのクラスター一覧でRuntime列のMLを参照してください。利用できるMLクラスターがない場合には、クラスターを作成しDatabricks Runtime VersionではMLのリストから選択してください。
2. 新規Labelboxアカウントにサインアップするか、既存LabelboxアカウントにログインするためにLabelboxページに移動します。
3. Labelbox APIキーがない場合には、お使いのLabelboxアカウントに対するLabelbox APIキーを作成します。最終的にキーは表示されなくなりますので、APIキーをコピーしセキュアな場所に保存します。後ほどこのキーが必要となります。
4. ワークスペースのLabelboxスターターノートブックを確認します。
   1. お使いのDatabricksワークスペースでData Science & EngineeringあるいはDatabricks Machine Learning環境にいることを確認します。必要であればサイドバーのペルソナスイッチャーを使用します。
   2. サイドバーでWorkspace > Sharedをクリックします。
   3. labelbox_demoというフォルダーがない場合には作成します。
      1. Sharedの隣の下向き矢印をクリックします。
      2. Create > Folderをクリックします。
      3. labelbox_demoと入力します。
      4. Create Folderをクリックします。
   4. labelbox_demoフォルダーをクリックします。labelbox_databricks_example.ipynbというノートブックが存在しない場合にはインポートします。
      1. labelbox_demoの隣の下向き矢印をクリックします。
      2. Importをクリックします。
      3. URLをクリックします。
      4. https://github.com/Labelbox/labelbox-python/blob/develop/examples/integrations/databricks/labelbox_databricks_example.ipynbと入力しImportをクリックします。
5. MLクラスターとLabelboxスターターノートブックのセットアップを実行します。

MLクラスターとLabelboxスターターノートブックのセットアップ

1. お使いのDatabricksワークスペースでData Science & EngineeringあるいはDatabricks Machine Learning環境にいることを確認します。必要であればサイドバーのペルソナスイッチャーを使用します。
2. お使いのMLクラスターに必要なLabelboxライブラリがインストールされていることを確認します。
   1. サイドバーでComputeをクリックします。
   2. お使いのMLクラスターをクリックします。必要に応じてFilterボックスで検索します。

      注意
      Labelboxへの接続にPartner Connectを使用した場合、MLクラスターの名前はLABELBOX_CLUSTERとなります。

   3. Librariesタブをクリックします。
   4. labelboxライブラリが一覧にない場合にはインストールします。
      1. Install Newをクリックします。
      2. PyPIをクリックします。
      3. Packageにlabelboxと入力します。
      4. Installをクリックします。
   5. labelsparkライブラリが一覧にない場合にはインストールします。
      1. Install Newをクリックします。
      2. PyPIをクリックします。
      3. Packageにlabelsparkと入力します。
      4. Installをクリックします。
3. MLクラスターをスターターノートブックにアタッチします。
   1. サイドバーでWorkspace > Shared > labelbox_demo > labelbox_databricks_example.ipynbをクリックします。
   2. ノートブックにMLクラスターをアタッチします。
4. どのようにLabelboxを自動化するのかを学ぶためにノートブックを確認します。

詳細については、スターターノートブックのREADMEをご覧くささい。また、Labelbox Docsも参照ください。

Databricks 無料トライアル

Databricks 無料トライアル