昨年に引き続き今年も振り返ります。今年もバーチャルで1日目はレコーディング、2日目はリアルタイムで視聴しました。
Day 1
空飛ぶ車を開発しているJobyでは車両からの膨大なデータの分析でDatabricksを活用。
Databricks Free Edition
個人的はこの発表にすごく意義があると思いました。これまでも無料のCommunity Editionはありましたが、機能やキャパシティの制限が厳しかったので。ほぼ全てのDatabricksの機能を無料で利用できるので、自分での勉強などが捗ります。
公式ブログ
早速試してみました。
Lakebase
DatabricksでOLTP向けデータベースが利用できるように。
DBのブランチングという概念、初めて聞きましたが開発が捗りそうです。
公式ブログ
こちらで試してみました。
Databricks Apps
GAに(日本に早く来てください)
Node.jsやReactもサポート。
Agent Bricks
AI Builderと呼ばれていたベータがAgent Bricksという名前に変更されました。
知識アシスタントはこちらで試してみました。
MLflow 3.0
これまでベータだったMLflow 3.0もGAに。
こちらでウォークスルーしています。GAになったので後でもう一度試してみます。
サーバレスGPUコンピュート
生成AIワークロードが捗ります。
こちらで試しています。
MCP on Databricks
マルチエージェント時代を見越しているかのよう。
こちらでも試しています。
Day 2
Microsoft SATYA CEOとの対談レコーディングからスタート。
ちなみに、Aliの背後にはLearning Sparkが。Apache Spark徹底入門として翻訳しました。
Unity Catalog
公式ブログ
Icebergマネージドテーブル
デモの中ではABAC(属性ベースのアクセスコントロール)もカバー。
ABACはこちらで試しています。
UCのメトリクスビューがGA
分析の切り口であるディメンションやメジャーを一元管理できます。こちらでウォークスルーしています。
ディスカバービュー。アセットをより発見しやすく。
デモ環境では、カタログエクスプローラのサンプルデータタブで直接Genieに質問できるようになっていました。これは嬉しい。
Spark宣言型パイプライン
DLTで培われた宣言型構文をSparkでも使えるように。つまり、DLT(現Lakeflow宣言型パイプライン)のオーブンソース化。
Lakeflow
オーケストレーションを司るLakeflow Jobsの新機能も目白押し。
Lakeflow宣言型パイプラインのインタフェースもどんどん改善。
そして、Lakeflow Designer！ノーコードでETLパイプラインを開発可能に。
ノーコードと言ってもそこにはAIアシスタントが。自然言語でパイプラインが作られていくこの未来感。
さらにはデータ構造のスクリーンショットから処理を自動生成。
ノーコードと言っても、Databricksの場合は背後デコードを持っているので管理もきちんとできます。
Databricks SQL
SQLからさらにLLMを活用できるように。
Lakebridge
Bladebridgeをベースとした、オープン、無料でAIアシストありの移行ソリューション。
Gemini
Google Cloudとのパートナーシップの発表、そしてDatabricksでGeminiが利用できるように。
AI/BI
ダッシュボードから予測機能をが利用可能に。
ダッシュボードで気になる箇所からコンテキストメニューを呼び出し、直接Genieに問い合わせ。これは嬉しい。
そして、GenieにDeep Researchモードが！
予想されている方がいらっしゃいました。すごい。
Genieの知識抽出、利用パターンなどから知識を獲得。
Databricks One
ビジネスユーザー向けに効率的なUIを提供。
まとめ
5回目の視聴ですが、生成AIが出現してからの2、3年での進化が凄まじいです。
- Community EditionがFree Editionへと生まれ変わり、「Databricksを触ってみたい」という方にとっての障壁を大幅に引き下げ
- MLflow 3.0、MCPサーバーやAgent Bricksの提供によって、マルチエージェント時代に備える
- Lakeflowによるデータエンジニアリングの効率化、Lakeflow DesignerによってノーコードのETL開発と生成AIを活用したデータインテリジェンスエンジニアリングを
- Unity Catalogの発表は2021年、それから1年ほどしてGAとなり、リネージやABACなどガバナンスを強化するための機能がどんどん投入されている
- AI/BI、Apps、そしてDatabricks Oneによって、ビジネスユーザーもDatabricksをより活用できるように