Databricks ❤️ IDEs - The Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
ハッピーバレンタイン！DatabricksはVisual Studio Codeが大好きです❤️
この愛すべき日に、Databricksレイクハウスプラットフォームにおける新しくパワフルな開発体験を発表できることを嬉しく思っています：VS Code Extension for Databricksです。
この新たな拡張機能によって、開発者はローカルでコードを記述し、IDEのパワフルなオーサリング機能を活用しつつも、リモートのDatabricksクラスターに接続することができます。IDEによって、開発者は大規模なコードベースにおいて必要となるソースコード管理、モジュール化されたコードのレイアウト、リファクタリングのサポート、インテグレーションされたユニットテストのようなベストプラクティスを活用することができます。
これは開発プロセスでIDEを活用しているチーム向けに計画されている数多くのリリースの最初の一つとなります。Databricksでは、開発者のエコシステムに多大なる投資をしており、今後は他のIDEのサポートや追加のツールがロールアウトされます。
以下のクイックなデモや以降の記事を読み進めてください。
VS Codeでネイティブな開発を
お使いのIDEからすべてのデータ&AIアプリケーションを構築しましょう。VS Codeでパイプラインやジョブのコードを記述することができ、リアルタイムでDatabricksクラスターにデプロイ、テスト、実行することができます。ご自身のデータ&AIプロジェクトにソフトウェア開発のベストプラクティスを適用し、VS Codeの編集、リファクタリング、テスト、CI/CDのネイティブの機能を活用しましょう。
「我々のチームは自分たちのデータワークロードをDatabricksで実行したいと考えていましたが、自分たちのデータアプリケーションをIDEで開発したいと考えていました。今では彼らはコードをIDEで記述、テストし、Databricksでコードを実行することができます。」– Andrew Garrido, Head of Software Development for Data Processing at Kantar
お使いのIDEでDatabricksレイクハウスのフルパワーを活用
いまでは、VS Code内でDatabricksにおける開発を行えるので、一箇所ですべての作業を実施することができます。新たな拡張機能によって、お使いのDatabricksオブジェクトはVS Codeでネイティブに管理され、アプリケーション間のコンテキストスイッチを避け、IDE内にとどまることが可能となります。クラスター、パイプライン、タスクのようなすべてのDatabricksコンポーネントは、VS Codeのワークスペースと通常のワークフローにインテグレーションされます。組織の全員がデータを活用し、意思決定できるように、レイクハウスの大規模データセットを処理、分析するスケーラビリティを活用し、クエリーや可視化のためにクラスターを使用し、機械学習モデルをトレーニングし、プロダクションにジョブをデプロイする、これらすべてをVS Codeから行うことができます。
IDEの完全な機能を活用できるように設計
Databricksでアプリケーションを構築する際に、VS Codeで活用しているすべての機能を使いましょう。関数定義、リファクタリングに移動し、高度な検索・置換を活用し、効率性を高めるために画面分割を活用しましょう。検索や開発をスピードアップするために、Databricks固有のオブジェクトを含む関数や変数に対するコードコンプリートを使用しましょう。
VS CodeとDatabricksによって、すでにご自身の開発プロセスでセットアップされているソフトウェア開発のベストプラクティスを活用することができます。異なる関数やファイルにまたがるプログラムを開発し、別々のモジュールに分割します。ファイルはローカルに存在するので、VS CodeのGitツールやgit CLIを活用することができます。コードの再利用や検疫を促進するために、ご自身のコードをファイルやライブラリにモジュール化しましょう。ソフトウェア品質を担保するためにお好きなテストフレームワークを活用しましょう。コードを迅速にプロダクションに移行するために優れたCI/CDツールとインテグレーションしましょう。
「Databricks拡張機能によって私のようにIDEを愛している開発者がVS Codeのパワーとネイティブかつ拡張可能な機能を結合しつつも、容易にローカルからDatabricksの処理を実行できることを知りました。とても便利です！」- Sam Walker, Data Engineer at Watco
IDE体験を完全にサポート
新たなVS Code拡張機能は、Visual Studioマーケットプレースから直接利用可能ですので、スタートするのは容易であることに加え、Databricksによって公式にサポートされた信頼できるバージョンであることが保証されています。皆様が安心して優れた体験と高品質な機能を利用できるように、我々は拡張機能を定期的にアップデートしていきます。Databricksレイクハウスプラットフォームの新機能がリリースされるのと合わせて、サポートが追加されますので将来に渡って利用できるようになっています。
「これは我々の開発プロセスをさらにブーストさせる偉大な前進だと考えており、このマイルストーンは祝福されシェアされるに値するものです！」- Iago Brandão, MLOps at ViaHub
VS Code Extensionを使い始めましょう
本日からVisual Studioマーケットプレース経由でこのVS Code拡張機能をダウンロードすることができます。
この拡張機能を使い始めるには、AWS、Azure、GCPのドキュメントをご覧いただき試してみてください。
この拡張機能に関するフィードバックや、開発体験に関するその他のコメントに関してはDatabricks Communityにお寄せいただけると幸いです。
VS Code拡張機能のアップデートと改善事項、他のIDEのサポートを楽しみにしていてください！