参加したセミナーの概要
参加したのはDatabricksワールドツアー＠東京です。
開催日
11/28（金）
開催形態
オフライン
開催場所
ザ・プリンスパークタワー東京
開催要領はこちら
会場の雰囲気
ホテルは豪華で基調講演の会場も広かったです。ただ各セッションは入場が長蛇の列になっており、人気の講演は早めに並ばないと入りきれないことも...企業の出展ブースにはお菓子が置かれており軽い商談などもできそうでした。
ここから本題です
講演は同時間帯複数開催の択一式です。全講演を見聞きはしていません。以下に私が参加できた講演をレポートします。
到着と受付
会場に到着し受付けを済ませます。QRコードで簡単にできました。長蛇の列が出来ていたので余裕をもっての到着が望ましいですね😅
Agent Bricks で構築する本番品質の AI／マルチエージェントシステム
時間: 10:00 - 10:30
新機能Agent Bricksに関する説明とデモ
- ノーコードでAIを構築できるAIのマネージドサービス
- 日本のリージョンではまだ利用不可
- ユースケースごとに、4つのタイプのAIを構築できる
- Information Extraction
- Knowledge Assistant
- Custom LLM
- Multi-Agent Supervisor
- 例えば2. Knowledge Assistantであれば業務に関する質問に答えてくれるチャットボットを構築できる。
- 具体的には業務に関するドキュメントをpdf形式などでUnity CatalogのVolumeに貯めておき、そちらをAIの参照先に指定することで、ドキュメントの内容を要約して応答してもらうことが可能。
- 応答の品質を向上させたい場合は、質問ごとに人の手でフィードバックを書き込んで改善を促す
- 4.Multi-Agent Supervisorは複数のAI機能を組み合わせて一つのAIとして構築ができる。例えばAI/BI Genieを使って回答に必要なデータを収集後、Knowledge Assistantにデータを渡して分析させる、といったことも可能。
- デモでは人事のアシスタントボットとして、採用ガイドや福利厚生などが書かれたパワーポイント情報とFAQの情報を元に質問に回答させていた。
Lakebase：レイクハウスのためのフルマネージド Postgres
時間: 11:30 - 12:00
新機能Lakebaseに関する説明
- 既存のDelta Lakeは大量データの処理には適しているが、OLTP処理には不向き。またリアルタイムデータや、AIでの即時データ処理に適したテーブルが必要
- そのため実績のあるPostgresをベースにLakebaseを開発。Unity Catalog上のテーブルとして利用可能
- 日本のリージョンではまだ利用不可
- LakebaseテーブルとDelta Lakeテーブルで相互同期が可能
- gitのようにデータをある時点でブランチを切って派生させることができる。切った時点への切り戻しもできる。
- クエリパフォーマンスのモニタリング機能あり
- select文の結果画面から、削除したいレコードにチェックをつけて手動削除も可能で、非エンジニアにもやさしい
基調講演
時間: 13:00 - 14:30
ほぼ満席できらびやかなライトが舞っていました。
スーツ姿の人も多く、エンジニア向けというよりはビジネスマン全般に向けた発表内容でした。
エンジニアの方々は皆暇そう...
主なトピックは先に上げたAgent Bricksや、Lakebase、Lakehouse Federationについて等でした。
ライトニングトーク 三井情報 : もう“検索”に戻れない。究極のRAG構築事例 ～大量ドキュメントからの ""知の抽出""～
時間: 14:40 - 14:55
実際にRAGを構築した体験談
- セマンティックチャンク分割を活用。ドキュメントを「意味の通る一つの文脈」単位でチャンクして保存することで、RAGの精度を向上
- 回答精度を上げるため、低コストモデルでおおよその解答候補を選出し、その後と高コストモデルで最終選考を行う、という二段階のドキュメント抽出で、コストと精度のバランスを取る
GENDAとIVRy、急成長スタートアップがDatabricksを採用した理由
時間: 14:45 - 15:15
前のライトニングトークと枠が被っているため途中参加
プッシュ式IVRを対話型AIに
- プラットフォームをDatabricksに移行
- 通話情報内容は非構造化データでありDatabricksと相性が良い
- Big Queryなどの利用のためにシステムが複数プラットフォームにまたがっていたため、Databricksに統合
- Genieなどを通して自然言語でデータにアクセスできるようになったため、ユーザビリティが向上。
その分information schemaの向上には力を入れた - 複数のAIを統合する、スーパーバイザAgent構造
- セキュリティの面からDatabricks Appsを利用(認証周りの簡易化)
- ai_queryも利用
- metric views活用
明治安田生命：「ＭＹデータプラットフォーム」の高度化で実現する「明治安田」ブランド
時間: 15:30 - 16:00
Databricksでの基盤構築
- 当初は複数クラウドサービスの優れた機能同士を組み合わせて基盤構築していたが、deepな分析、大量データ加工、分析・予測、AIモデル生成などのニーズが高まるにつれDatabricks中心にシフト
- メタデータを充実させ、Genie活用。メタデータの作成を効率よく行う方法は模索中
Money ForwardにおけるDatabricks利用の現状と今後の展望
時間: 16:15 - 16:45
SaaS is NOT dead
- 会計などに関する様々なクラウドサービスを提供している会社
- クラウドサービスはAIに代替され死ぬ、という主張に反論し、クラウドサービスで提供しているサービス内容は変化せず、入り口・受け口がAIに変わる、とのこと。AIでユーザビリティ向上を目指す形。
- AI関連サービスを順次リリース。今後も開発していく
- AI契約書レビュー
- AI確定申告(領収書などをアップロードするだけでおよその申請形式は整い、特に個人事業者に重宝されている)
- 請求書ダウンロード代行(各取引先からデータを集めてMoney Forwardプラットフォームに登録)
- AI関連サービスを順次リリース。今後も開発していく
阪急阪神ホールディングス「データ分析ラボ」による事業部門のデータ活用拡大と自走化支援
時間: 17:00 - 17:30
データ活用のためのシステム化された組織作り
- 顧客データ基盤をDatabricksに統合。合わせて各部門でサイロ化してデータを整理
- データの管理主体の整理、データ規格の統一などは苦労した
- 統計学などに詳しい人材も確保
- 阪神阪急お出かけカードへのマーケティングとしてデータを利活用した
- 年齢、性別だけではなく、顧客の嗜好に応じてアパレル系の中でもデザイン重視派かシンプル派か、若年向けかなど細分化されたクラスタリングを行い、精度向上に努めた
- クラスタリング結果をもとに広告・クーポンなどを提供し、A/Bテストを繰り返して精度向上
- クリック数、購入数の割合で成果測定
- S3から取り込みブロンズへ格納し、最終的にはTableauで分析
- 顧客へのメール配信にはsalesforce marketing cloudを使用
- レコメンドを行うための予測モデルも内製で作成
世界をつなぐ、SEGAのグローバルデータメッシュ ― Databricksで進化する基盤とゲーム運営
時間: 17:45 - 18:15
グローバルに使えるデータ基盤としてDatabricksが適切
- データのサイロ化対策および大量バッチデータを高速処理するためのプラットフォームとしてDatabricksを採用
- バッチ処理のコストは半分に、速度も倍速になった
- 国内外の情報を繋ぐため、Delta Sharingを活用。またLakehouse Federationを利用し、国ごとに情報を集約しハブ化させることで、メッシュ構造を作るのに役立った
- これまでAthenaで行っていた分析もNotebook+Pythonを利用することで高度な分析が可能に
- ユーザ行動パターン、課金ポイント履歴、デバイス・国情報などを分析し課金詐欺の発見などにつなげた
- ユーザの感想を多言語テキスト分析しセンチメント分析に役立てた
- Agent Bricks Multi-Agent Supervisorも活用
- 非構造化データはKnowledge Assistantを利用しベクターストアに保存されたゲームの仕様書・マニュアルなどからデータ取得
- 構造化データはGenieを通じてSQL結果として取得
- Agentは構造化データと非構造化データを統合して処理し、チャットボット向けの回答を生成
講演レポートは以上になります。
おまけ
ホテルにある庭園のバラも見事でした。イベント中に休憩されている方もちらほら