すでに他の方による素晴らしい振り返りが公開されているので、簡単に個人的な振り返りをまとめます。バーチャル参加でしたがリアルタイム視聴してました。
Day 1
データ+AIカンパニーらしくイベントのデータから。
6万人の登録、1万6千のオンサイト参加。Spark/Delta年間ダウンロード10億以上#DAISJapanTeam #DataAISummit pic.twitter.com/1AfGoTxM6X
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
DBRX出した時にはオープンソースモデルで最高のパフォーマンスを発揮したが(Llama3が出るまでの)二週間だけの話でした。そのくらい最先端のモデルがたくさん出現しているという状況。
LLMのベンチマークは飽和状態、オープンソースモデルもキャッチアップしている。DBRXは2週間ではあったが最高のパフォーマンスを示した(会場笑#DAISJapanTeam #DataAISummit pic.twitter.com/lcPNW5FCXA
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
OSS Unity Catalog
Unity CatalogのOSS化、詳細はDay 2で。
Unity CatalogのOSS化#DAISJapanTeam #DataAISummit pic.twitter.com/G2TuZCZLOF
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
100パーセントサーバレス
100パーセントサーバレスの方向へ。(早く日本に来てください)
100% Serverless!!!#DAISJapanTeam #DataAISummit pic.twitter.com/eE3wzwHETf
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
Mosaic AI
LLM周りのアップデートは情報量多くてあとで咀嚼しないと。Mosaic AI Model Training Fine-tuning、ShutterstockのImageAIはDatabricksで構築、Vector SearchのGA、Tool CatalogやAgent Framework、Agent Evaluation、MLflow 2.14、AI Gatewayなどなど。RAGに次ぐLLMのアプリケーションはやっぱりエージェント系なんですかね。
Mosaic AI Model Training Fine-tuning、ノーコードでOSSモデルをファインチューニング#DAISJapanTeam #DataAISummit pic.twitter.com/Bz0t9yDp87
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
Mosaic AI Tool Catalog、AIツールのカタログ#DAISJapanTeam #DataAISummit pic.twitter.com/5ttsYe3CwA
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
クッキーの売り上げが上がるようなInstagramのポストを投稿するようにエージェントに指示するデモ。
Unity Catalogに登録されているfunctionに対してfunction callingできる感じか。#DAISJapanTeam #DataAISummit pic.twitter.com/Ud6IsKK2Cj
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
Tool chainのスタックトレースを追ってデバッグ#DAISJapanTeam #DataAISummit pic.twitter.com/BWakMJyPBG
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
お客様(Block)事例。データベースのフェデレーションはよく聞いていましたが、モデルをここまでフェデレーションしているのにはびっくり。
このフェデレーションはすごい#DAISJapanTeam #DataAISummit pic.twitter.com/fpE5vnJoyt
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
エージェント周りをきっちり勉強しようと思いました。
Agent、自分も勉強しよう#DAISJapanTeam #DataAISummit pic.twitter.com/up1V2fk4Ue
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
Spatial Intelligence
空間データを生成するSpatial Intelligenceも興味深かったです。
Spatial Intelligence、ゲームとかにインパクトありそう#DAISJapanTeam #DataAISummit pic.twitter.com/lZdE0lHg7h
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
やっぱりロボットに組み込まれますよね#DAISJapanTeam #DataAISummit pic.twitter.com/UCSAbZfXqa
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
NVIDIA
NVIDIA CEOとのファイアサイドチャット。ここでパートナーシップの強化を発表。
Data + AI Summitにおいて、DatabricksとNVIDIAのパートナーシップ強化が発表されました！
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
Databricksの次世代クエリーエンジンPhotonにおけるNVIDIAコンピューティングのネイティブサポートが計画されています。https://t.co/1vNJZCMMdZ#DAISJapanTeam #DataAISummit #databricks
Databricks AI/BI
DWH周りも色々強化。
リネージやアシスタントのおかげで使いやすさを改善#DAISJapanTeam #DataAISummit pic.twitter.com/havnOYx9ML
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
AI_FORECASTとな、時系列予測が簡単に#DAISJapanTeam #DataAISummit pic.twitter.com/H4JFxIGtpD
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
そして、Databricks AI/BIの発表。自然言語(日本語)でダッシュボードの作成から深掘り分析を可能に。
Databricks AI/BI
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
- Dashboard: AIアシストを通じたローコードでダッシュボードを構築、クロスリファレンスもサポート
- Genie: 対話型でデータに問い合わせや可視化#DAISJapanTeam #DataAISummit pic.twitter.com/EQFE8SDMIv
Day 1のまとめ。
今日のまとめ！#DAISJapanTeam #DataAISummit pic.twitter.com/5MhaCninTu
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 12, 2024
早速Databricks AI/BIをウォークスルーしました。個人的にはダッシュボードからGenieへの流れが秀逸かと。
記事を投稿しました！ Databricks AI/BIのウォークスルー on #Qiita https://t.co/EeApTQNdM6
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
Day 2
機能特化の小規模LLM
LLMでの勝ちレシピ＝とてつもなく大規模な事前トレーニングやRLHFが必要。でも、小規模モデルにも望みがある。固有タスクに特化。#DAISJapanTeam #DataAISummit pic.twitter.com/j7phLS8iGz
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
AIが生成するデータを用いてAIをトレーニングすることに。SF的だ。#DAISJapanTeam #DataAISummit pic.twitter.com/mMeLxR5hwx
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
Delta
Delta 4.0!!!#DAISJapanTeam #DataAISummit pic.twitter.com/mJrUR035V3
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
Liquid Clustering、Partition Byよさらば！#DAISJapanTeam #DataAISummit pic.twitter.com/5kl3k5N7HA
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
Unity Catalog
Unity Catalog Tシャツ欲しい#DAISJapanTeam #DataAISummit pic.twitter.com/vzJ5QdmPj4
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
属性ベースのアクセスコントロール(Attribute Based Access Control:ABAC)、ずっと待ってました。
ABAC!!!待ってました！タグベースのアクセスコントロール#DAISJapanTeam #DataAISummit pic.twitter.com/lrqgQIpyl9
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
UCのOSS化！#DAISJapanTeam #DataAISummit pic.twitter.com/NjiaFJf9AF
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
ライブで公開というのが盛り上がります。
LIVEでUCを公開！ pic.twitter.com/B8lngFcJFR
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
リポジトリはこちら。
動かしてみました。
Metricsも気になります。
Unity Catalog Metrics!?#DAISJapanTeam #DataAISummit pic.twitter.com/aIFs5e2qUW
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
Spark
Spark 4.0!!!
Spark 4.0!!!#DAISJapanTeam #DataAISummit pic.twitter.com/CmP0hP6ATT
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
Lakeflow
良いデータに繋がる3つのステップ#DAISJapanTeam #DataAISummit pic.twitter.com/ol5AxlIVAB
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
このような課題に対応するためのLakeFlowを発表します！#DAISJapanTeam #DataAISummit pic.twitter.com/jrXvL4CWqZ
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
LakeFlow Connect
LakeFlow Connect、以前に買収したArcionのテクノロジーを活用して様々なデータベース、アプリケーションからデータを取り込むためのコネクター#DAISJapanTeam #DataAISummit pic.twitter.com/i8wqSBayW5
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
LakeFlow Pipelines
LakeFlow Pipelines、Delta Live Tablesをベースとしたデータ変換ソリューション#DAISJapanTeam #DataAISummit pic.twitter.com/FabUEgyxxf
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
LakeFlow Jobs
LakeFlow Jobsによるオーケストレーション#DAISJapanTeam #DataAISummit pic.twitter.com/OQihcw0I1K
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
最初に気になったのは、「あれ、じゃDelta Live Tablesはどうなるの？」でした。
既存機能とLakeFlowとのマッピング、プレビューのステータス#DAISJapanTeam #DataAISummit pic.twitter.com/tedyoBFGk0
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
まとめ。
Wrap up#DAISJapanTeam #DataAISummit pic.twitter.com/UCq0IgsMBa
— Taka YAYOI/弥生 隆明@Databricks (@taka_aki) June 13, 2024
個人的には、エージェント活用に向けた機能強化、UCのOSS化、LakeFlowの発表などが興味深かったです。