LoginSignup
4
2
お題は不問！Qiita Engineer Festa 2024で記事投稿！
Qiita Engineer Festa20242024年7月17日まで開催中！
@taka_yayoi(Takaaki Yayoi)inデータブリックス・ジャパン株式会社

個人的Data + AI Summit 2024振り返り

Posted at

すでに他の方による素晴らしい振り返りが公開されているので、簡単に個人的な振り返りをまとめます。バーチャル参加でしたがリアルタイム視聴してました。

Day 1

データ+AIカンパニーらしくイベントのデータから。

DBRX出した時にはオープンソースモデルで最高のパフォーマンスを発揮したが(Llama3が出るまでの)二週間だけの話でした。そのくらい最先端のモデルがたくさん出現しているという状況。

OSS Unity Catalog

Unity CatalogのOSS化、詳細はDay 2で。

100パーセントサーバレス

100パーセントサーバレスの方向へ。(早く日本に来てください)

Mosaic AI

LLM周りのアップデートは情報量多くてあとで咀嚼しないと。Mosaic AI Model Training Fine-tuning、ShutterstockのImageAIはDatabricksで構築、Vector SearchのGA、Tool CatalogやAgent Framework、Agent Evaluation、MLflow 2.14、AI Gatewayなどなど。RAGに次ぐLLMのアプリケーションはやっぱりエージェント系なんですかね。

クッキーの売り上げが上がるようなInstagramのポストを投稿するようにエージェントに指示するデモ。

お客様(Block)事例。データベースのフェデレーションはよく聞いていましたが、モデルをここまでフェデレーションしているのにはびっくり。

エージェント周りをきっちり勉強しようと思いました。

Spatial Intelligence

空間データを生成するSpatial Intelligenceも興味深かったです。

NVIDIA

NVIDIA CEOとのファイアサイドチャット。ここでパートナーシップの強化を発表。

Databricks AI/BI

DWH周りも色々強化。

そして、Databricks AI/BIの発表。自然言語(日本語)でダッシュボードの作成から深掘り分析を可能に。

Day 1のまとめ。

早速Databricks AI/BIをウォークスルーしました。個人的にはダッシュボードからGenieへの流れが秀逸かと。

Day 2

機能特化の小規模LLM

Delta

Unity Catalog

属性ベースのアクセスコントロール(Attribute Based Access Control:ABAC)、ずっと待ってました。

ライブで公開というのが盛り上がります。

リポジトリはこちら。

動かしてみました。

Metricsも気になります。

Spark

Spark 4.0!!!

Lakeflow

LakeFlow Connect

LakeFlow Pipelines

LakeFlow Jobs

最初に気になったのは、「あれ、じゃDelta Live Tablesはどうなるの？」でした。

まとめ。

個人的には、エージェント活用に向けた機能強化、UCのOSS化、LakeFlowの発表などが興味深かったです。

はじめてのDatabricks

はじめてのDatabricks

Databricks無料トライアル

Databricks無料トライアル

4
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
4
2