はじめに
株式会社NTTデータ デザイン＆テクノロジーコンサルティング事業本部 の nttd-yuan です。
Databricksのエバンジェリスト資格 Databricks Champion の認定を受けています。
Data + AI Summit 2024のキーノートでは、Mosaic AI Agent Framework機能を活用した非常に興味深いデモンストレーションが行われました。これからGenerative AIアプリケーションの構築を考えている方々や、すでに構築済みで品質向上を目指す方々にとって非常に参考になる内容です。本記事では、そのデモンストレーションの詳細を解説していきます。
なお、このデモンストレーションに関連するDatabricksのGenerative AIに関する機能アップデートについては、以下の記事にまとめていますので、ぜひご確認ください。
また、デモンストレーションのフルバージョンはYouTubeで公開されています（58分〜1時間14分）。ぜひ合わせてご視聴ください。
その他の「Data + AI Summit 2024 - Databricks」のコンテンツについては、関連リンクからご参照ください。
デモの概要
ビジネス目的
私たちは、多数のフランチャイズを展開するクッキー企業で働いています。フランチャイズオーナーが顧客データを分析し、マーケティングキャンペーンを作成し、販売戦略を立案・改善するのを支援するAIエージェントを開発したいと考えています。このAIエージェントを使用することで、Instagram広告キャンペーンを作成し、各フランチャイズで最も売れているクッキーを効果的に宣伝できます。また、AIエージェントはインスタグラム用の画像と、クッキーファンの心を捉えるキャプションを生成し、売上の向上を促進します。
課題
フランチャイズオーナーに汎用AIモデルを提供しましたが、そのモデルはビジネスや各フランチャイズに特化していなかったため、十分な結果を得られませんでした。 そこで登場するのがMosaic AIプラットフォームです。Mosaic AIは企業データを活用して汎用AIを拡張し、Data Intelligenceを提供します。
デモ構築内容
このデモでは、LLMエージェントを構築します。このエージェントは、データウェアハウスへのアクセスを提供するSQL関数、Python関数、モデルエンドポイント、さらにはSlackやメールなどの外部サービスを呼び出すリモート関数として機能します。
これらすべての機能を実現するために、Mosaic AIプラットフォームを使用します。Mosaic AIプラットフォームの3つの機能を活用してData Intelligenceを構築します。まず、Tool Catalogを使用してData Intelligenceを構築し、次にAgent Evaluationで品質を評価し、最後にMLflow Tracingを使って品質のデバッグと改善を行います。
デモの実施
1. Tool Catalog による企業データの活用 （Data Intelligence）
まずはUnity Catalogにアクセスし、事前の用意したいくつかの関数（ツール）を確認します。Tool CatalogはUnity Catalogに統合されており、AIモデル、非構造化データ、構造化データと一緒にガバナンスされています。
これらのツールの名前をクリックすることで、詳細を確認できます。例えば、「franchise_sales」を選んで内容を確認します。ここでは、単なるSQLクエリがセンシティブな取引データにアクセスしています。ツールがデータと共にガバナンスされることが重要です。これにより、取引テーブルにアクセスできる人だけがこのツールを使用できます。
他にも企業データを活用するツールがあり、都市別・国別のフランチャイズデータやソーシャルメディアからの顧客レビューを取得するツールなどがあります。これらのツールはすべて、企業データを有効活用しています。
次に、これらのツールで基盤モデルを拡張します。AI Playgroundに移動し、ツール対応の基本モデルを選択します。
AI Playgroundとは、Databricksが提供するクラウドベースのプラットフォームの一部で、シンプルなインターフェースを通じて、機械学習モデルの開発、トレーニング、デプロイメントを支援するツールや機能を提供します。
ここで、基盤モデルをLlama 3を選択します。
ここでは、先ほど表示したUnity Catalogスキーマ内のツール群（retail_prod.ai.*）を追加します。さらに、マーケティングチームが作成した ml.meng.gen_image_and_slack_marketingというツールも追加します。このツールは、Shutterstock ImageAIを利用してInstagram画像を生成し、キャプションも作成します。
Shutterstock ImageAIは、Databricks社はパートナーのShutterstock社と協業し、Databricks Mosaic AIの高度な機能を使用して構築され、Shutterstock の世界クラスの画像リポジトリでのみトレーニングされたテキストから画像への生成AIモデルです。
詳細については以下のリンクをご参照ください。
https://www.databricks.com/company/newsroom/press-releases/introducing-shutterstock-imageai-powered-databricks-image
次に、「サンフランシスコ店のベストセラークッキーに関するInstagram投稿用の画像とキャプションを生成します。」というプロンプトを入力します。
ライブデモのため、Temperature設定をゼロにします。
Temperature設定は、生成されるテキストの多様性やランダム性を制御するためのパラメータです。Temperatureが低い場合、モデルはより確信度の高い予測を行い、より一貫したテキストを生成します。一方、Temperatureが高い場合、モデルはよりランダムな予測を行い、より多様なテキストを生成します。
プロンプトを送信すると、ここから魔法のようなことが起こります。Llama 3が連鎖的な思考を行い、このタスクを実行するために必要なツールを自動的に特定します。
最初に行ったのは、サンフランシスコ店のフランチャイズIDを取得することです。
次に、そのIDを使用してフランチャイズの売上データにアクセスし、ベストセラーのクッキーを特定しました。売上データを取得した結果、このアーモンドビスコッティクッキーがベストセラーであることが判明しました。
次に、顧客のフィードバックを反映させるために、顧客レビューのツールを使用しました。このビスコッティクッキーについて顧客が好きな点を尋ねると、サクサクした食感とユニークな風味が好きだとの回答が得られました。
これらすべての情報をSlackツールに送信し、Instagramの画像とキャプションを生成し、マーケティングチームにSlackで送信して、ソーシャルメディアに投稿する前に確認してもらいました。
では、実際に何が返されたのか見てみましょう。Slackに移動します。
これがShutterstockの画像AIモデルによって生成された画像です。ビスコッティの画像が表示されます！
カスタマイズされたキャプションも生成されています。「お客様は、ビスコッティのサクサクした食感、ユニークな風味、コーヒーに浸すのに最適な品質を絶賛しています」と記載されています！
General IntelligenceをData Intelligenceに拡張して基盤モデルを改善することを示しました。
次に、企業データを取り除くとどうなるかを見てみましょう。先ほどのように、すべての企業データ対応のツールを削除し、再度実行します。
画像とキャプションが生成されましたが、単に、サンフランシスコにあるクッキーの非常に普通な画像になりました。キャプションも非常に普通で、「当店のベストセラークッキーは人気に支えられています。お気に入りのクッキーモーメントを共有してください」という内容です。
特定のビジネスやフランチャイズ、企業データを活用していないため、その効果は限定的です。これにより、Data Intelligenceの重要性をご理解いただけるかと思います。
2. Agent Evaluation による品質モニタリング
Tool Catalogを使用して、一般的な知識と企業データを組み合わせ、Data Intelligenceを生み出す方法をご紹介しました。しかし、このエージェントが高品質であることをどのように確認するかは重要な問題です。そのためには、Agent Evaluationを利用します。
フランチャイズにおいてエージェント評価レビューアプリを提供します。このレビューアプリを使用することで、Databricksのアカウントの有無に関係なく、すべてのフランチャイズオーナーがエージェントと対話できるようになります。
そこで、フランチャイズのオーナーはエージェントの回答が良いかどうかについてフィードバックを提供できます。フィードバックを送信すると、このデータはUnity CatalogのDelta Tableに記録されます。
さらにLakehouse Monitoringを有効にして、レビューアプリの進行状況を観察しています。ここでは、設定したフランチャイズの一覧が表示され、エージェントのネガティブスコアの推移を追跡しています。ロサンゼルスのフランチャイズで何か問題が発生していることがわかります。エージェントに対するネガティブなフィードバックが多く寄せられています。
さらに詳しく調査すると、評価の悪い理由が見えてきます。
フィードバックによると、サンフランシスコやロサンゼルス以外の店舗のレビューが返されている、または実際には販売していない「リバティーチップクッキー」が返されていることがわかりました。これらの問題を解決するために、さらに深く調査する必要があります。
3. MLflow Tracing による問題源の特定と改善
品質に問題があるため、MLflowトレースを使用して問題を特定します。
ノートブックに移動し、評価ログをクエリしました。ここでは、自動的にMLflow Tracingがキャプチャされます。MLflowは、機械学習の実験とデプロイメントのための人気のあるトラッキングAPIです。これを複合AIシステムで拡張することで、入力から出力までのすべてのステップをトレースできます。
このトレースの一つをクリックすると、スタックビューが表示されます。
スタックのトップをクリックすると、システムに送信された質問とその出力が表示されます。例えば、リバティーチップクッキーについてお客様が何を言っているかという質問に対して、レビューアプリから得た絶対的な誤情報が「このクッキーは絶品で、驚くべき美味しさだ」と出力されています。しかし、このクッキーは存在しないので、何が問題なのかを突き止める必要があります。
そこで、さらに深く掘り下げて、最初に呼び出されたツールであるカスタマーレビューツールに進みます。ここでの入力と出力を確認すると、リバティーチップクッキーが絶品だと言っています。明らかにここが問題の発生源です。
さらにスタックを掘り下げて、実際にレビューを取得しているRetrieverに進みます。トレースのおかげで、返された正確なレビューを見ることができます。このレビューには、「スタッフは温かく歓迎してくれ、店内は清潔で、クッキーは絶品だった」と書かれています。リバティーチップクッキーに関する情報が見つからなかったため、Retrieverが無作為にレビューを返していることが分かりました。
この問題を解決するために、まず、レビューアプリのRetrieverの関連性の閾値を引き上げる必要があります。関連性が一定の閾値以下の場合は、レビューを返さないようにします。次に、プロンプトエンジニアリングを少し改良し、与えられたコンテキストが質問に関連していない場合は、そのコンテキストを要約しないようにします。これらの修正を行い、エージェントを再デプロイしました。
実際のエージェントの修正は、デモでは行われていませんでした。
レビューアプリも再デプロイし、フランチャイズオーナーに送信しました。これで、リバティーチップクッキーについてのお客様の意見を尋ねると、今度は「リバティーチップクッキーはレビューに言及されておらず、これらの店舗では販売されていない可能性がある」と返されるようになりました。これが望んでいた結果です！
おわりに
このデモでは、ツールカタログを使って一般的な知識を拡張し、Data Intelligenceを構築する方法を示しました。エージェント評価を通じて、データブレイクスのアカウントを持たないフランチャイズオーナーにもエージェントを提供し、彼らからフィードバックを受けて品質を理解する方法を見ました。さらに、MLflowトレースを使ってデバッグと反復を行い、エージェントの品質を向上させる方法も示しました。
Mosaic AIプラットフォームについて覚えておいてほしい3つの重要なポイントがあります。
-
General IntelligenceからData Intelligenceに移行することができます。これは、一般的な知識を企業データで補強することで実現します。これにより、ビジネスで何が起こっているかについての洞察が得られ、アプリケーションの品質も向上します。フランチャイズクッキーエージェントの例では、企業データにアクセスできるようにしたことで、Instagram広告キャンペーンの画像やキャプションが大幅に改善されました。
-
次に、モノリシックなモデルからモジュラー化されたAI複合システムに移行することで、品質を向上させることができます。これにより、システムの各ステップを専門化して品質を向上させることができます。また、多くの場合、レイテンシも改善されます。
-
最後に、Mosaic AIプラットフォームは高品質な複合AIシステムを構築するための最良のプラットフォームです。現在、数千の顧客がMosaic AIプラットフォームを使用しています。
関連リンク
- Data + AI Summit 2024 - Databricks 現地レポート（Keynote Day1）#1
- Data + AI Summit 2024 - Databricks 現地レポート（Keynote Day1）#2
- Data + AI Summit 2024 - Databricks 現地レポート（Keynote Day2）#1
- Data + AI Summit 2024 - Databricks 現地レポート（Keynote Day2）#2
- Data + AI Summit 2024 - Databricks Keynote（Demo for Mosaic AI Agent Framework） ※本記事
仲間募集
NTTデータ テクノロジーコンサルティング事業本部 では、以下の職種を募集しています。
1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)
クラウド／プラットフォーム技術の知見に基づき、DWH、BI、ETL領域におけるソリューション開発を推進します。https://enterprise-aiiot.nttdata.com/recruitment/career_sp/cloud_engineer
2. データサイエンス領域（データサイエンティスト／データアナリスト）
データ活用／情報処理／AI／BI／統計学などの情報科学を活用し、よりデータサイエンスの観点から、データ分析プロジェクトのリーダーとしてお客様のDX／デジタルサクセスを推進します。https://enterprise-aiiot.nttdata.com/recruitment/career_sp/datascientist
3.お客様のAI活用の成功を推進するAIサクセスマネージャー
DataRobotをはじめとしたAIソリューションやサービスを使って、 お客様のAIプロジェクトを成功させ、ビジネス価値を創出するための活動を実施し、 お客様内でのAI活用を拡大、NTTデータが提供するAIソリューションの利用継続を推進していただく人材を募集しています。4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》
データ分析プロジェクトのリーダとして、正確な課題の把握、適切な評価指標の設定、分析計画策定や適切な分析手法や技術の評価・選定といったデータ活用の具現化、高度化を行い分析結果の見える化・お客様の納得感醸成を行うことで、ビジネス成果・価値を出すアクションへとつなげることができるデータサイエンティスト人材を募集しています。ソリューション紹介
Trusted Data Foundationについて
～データ資産を分析活用するための環境をオールインワンで提供するソリューション～https://enterprise-aiiot.nttdata.com/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。
TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について
～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～https://enterprise-aiiot.nttdata.com/service/tdf/tdf_am
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。
OSSチーム紹介 | NTTデータグループ
株式会社NTTデータグループ OSS(オープンソースソフトウェア)チームは、Hadoop/Spark/Kafka/HBaseなどの高難易度なOSSプロダクトのサポートを提供 しています。OSSコミュニティ活動やプロジェクト支援を実施するとともに、OSSでは提供しきれない中長期的なサポートも提供しています。チームには、 Hadoop/Spark/Bigtopなどのコミッタも在籍 しております。OSSを扱う時にお困りの際にはぜひお気軽にお問い合わせください。
-
問い合わせ・HPはこちら：
https://oss.nttdata.com/ -
登壇資料などSlideShareはこちら：
https://www.slideshare.net/hadoopxnttdata
NTTデータとDatabricksについて
NTTデータは、お客様企業のデジタル変⾰・DXの成功に向けて、「databricks」のソリューションの提供に加え、情報活⽤戦略の⽴案から、AI技術の活⽤も含めたアナリティクス、分析基盤構築・運⽤、分析業務のアウトソースまで、ワンストップの⽀援を提供いたします。NTTデータとSnowflakeについて
NTTデータでは、Snowflake Inc.とソリューションパートナー契約を締結し、クラウド・データプラットフォーム「Snowflake」の導入・構築、および活用支援を開始しています。 NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。 Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。NTTデータとInformaticaについて
データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。NTTデータとTableauについて
ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
NTTデータとAlteryxについて
Alteryxは、業務ユーザーからIT部門まで誰でも使えるセルフサービス分析プラットフォームです。 Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。