Databricks and Jupyter: Announcing ipywidgets in the Databricks Notebook - The Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
Jupyterエコシステムのインタラクティブ性をレイクハウスに
本日、Databiricksノートブックと、インタラクティブコンピューティングにおけるオープンスタンダードとオープンソフトウェアに責任を持ってきた科学コンピューティングコミュニティのリーダーであるProject Jupyterによって確立されたエコシステムの間の密接なインテグレーションを発表できることを嬉しく思っています。Databricksランタイム11.0 (DBR 11.0)のリリースによって、Databricksノートブックは(Jupyter Widgetsとして知られる)ipywidgetsと、Jupyterのエコシステムを強化するPython実行エンジンであるIPython kernelをサポートします。
Databricksにおいては、レイクハウスをデータの洞察を作成し共有する最終目的地にするということにコミットしています。皆様のレイクハウスをビジネス価値に変換するために、湯＾ざーの全てのバックグラウンドを可能な限りシンプルなものにしたいと考えており、この主要な部分によって、インタラクティブ性を通じてユーザーが自分の分析とデータ資産をよりリッチなものにできると信じています。ipywidgetsとのインテグレーションによって、このビジョンを実現する偉大な一歩を踏み出しており、ユーザーの皆様がこれらを活用して生み出すものを見ることを楽しみにしています！
ipywidgets
AWSとAzureでパブリックプレビューとしてDBR 11.0に含まれているipywidgetsパッケージは、GCPではDBR 11.1で利用できるようになり、ユーザーはデータを可視化しインタラクションするために自分のノートブックにグラフィカルなコントロールを追加することができるようになります。例えば、さまざまな入力がどのように出力を変化させるのかを探索するためのGUIを自動で構成するために、ipywidgetsのinteract関数を使用することができます。
ipywidgetsの数多くのコンポーネント(スライダー、ボタン、チェックボックス、ドロップダウン、タブなど)を用いることで、ノートブックから直接、変数、実行コード、可視化を変更するためのカスタムインターフェースを構築することができます。これは始まりに過ぎません。ipywidgetsの真のパワーは、より複雑なコントロールとインタラクションを可能にするフレームワークです。いまでは、Databricksノートブックはipywidgetsをサポートしているので、ビジュアル的にデータポイントや地図上の領域を描写することで、没入感のある可視化やインタラクションを行うためにplotlyのチャートウィジェットや、ipyleafletのようなより高度なウィジェットを活用することもできます。
Databricksノートブック上のipyleaflet
例として、こちらのノートブックではDatabricksデータセットから農家のマーケットの場所を可視化するためにipyleafletを使用しています。
DatabricksノートブックでPythonを使用する際、Ipywidgetsがインタラクティブなコントロールを作成する推奨の方法となります。DBR 11.0におけるDatabricksノートブックでは、コアなipywidgetコントロール、plotly、ipyleaflet、ipyslickgridのカスタムウィジェットパッケージに対するパブリックプレビューのサポートを提供します。ノートブックやジョブにパラメーターを提供する際には、従来通りDatabricksウィジェットの構文を使用することをお勧めします。
Databricksのドキュメントや公式のipywidgetsドキュメントでより多くのサンプルを見つけることができ、ipywidgets examplesの公式ディレクトリでより高度なipywidgetsのサンプルを見つけることができます。向こう数ヶ月でより多くのこれらのウィジェットのサポートを追加できることを嬉しく思っています。特に興奮しているのはbamboolibであり、まもなくDatabricksノートブックにさらに多くのインテグレーションを追加する予定です。
IPython Kernel
DBR 11.0の一部として、Databricksはノートブックで長年使い続けていたカスタムのPython実行エンジンを、IPythonカーネル実行エンジンに置き換えました。IPythonカーネルを用いることで、Databricksノートブックをこれまで以上にJupyterの標準やエコシステムに密接にアラインさせ、特にノートブックにおけるipywidgetsを強化することになり、我々はプロジェクトの改善に貢献できることを嬉しく思っています。
DatabricksはProject Jupyterをサポートします
オープンソース技術に立脚し、MLflowやDelta Lakeのようなオープンソースを立ち上げた企業として、Databricksは健全なオープンソースコミュニティの重要性を理解しています。これが、我々がProject Jupyterのinstitutional partnerとなり、Jupyter(とipywidgets)の開発のスポンサーとなり。Jupyterプロジェクトの改善とバグ修正にDatabricksのエンジニアが貢献している理由です。我々はJupyterエコシステムへの貢献を増やし、それらの機能をDatabricksノートブックのユーザーに提供できることを嬉しく思っています。
試してみましょう
AWSかAzureのDatabricksノートブックでipywidgetsを試すために、必要なことはDBR 11.0以降が稼働するクラスターを選択し、ipywidgetsパッケージをインポートするだけです。DBR 11.1以降ではGCPでも利用できるようになります。詳細やサンプルについては、ドキュメントを参照ください。
さらにDatabricksに追加されるJupyterエコシステムの機能やウィジェットについsて知りたいのであれば、ぜひご連絡ください！