本記事はこちらのブログを参考にしています。
翻訳にはアリババクラウドのModelStudio(Qwen)を使用しております。
はじめに
この記事は、アリババクラウドApsaraDBが公開した「Data + AI」シリーズの第5弾です。このシリーズでは、実際の顧客事例やベストプラクティスに基づいて、さまざまな業界における「Data + AI」ソリューションの適用シナリオを紹介しています。本記事では、DingTalk AIアシスタントの実際のユースケースに基づき、Alibaba Cloudの「Data + AI」ソリューションを使用してインテリジェントなデータクエリサービスを実現する方法について議論します。これにより、誰もが専属のデータアナリストを持てるようになり、データクエリと分析の効率が大幅に向上します。
DMS + AnalyticDB Helps E-commerce Enterprises Make Decisions to Address Seven Major Challenges
Data + AI: Core Driving Force for Intelligent Transformation of Enterprises
Data + AI Assists in Intelligent Analysis of Game Logs
1. 企業およびビジネスの概要
DingTalkは、アリババグループが提供する企業向けコミュニケーションツールで、企業に効率的かつ安全なモバイルオフィスプラットフォームを提供します。インスタントメッセージ、ビデオ会議、ファイル管理、勤怠管理などの多様な機能を備え、企業が部門や地域を超えて協力オフィスサービスを実現することを支援します。「マイ スーパーアシスタント」というテーマで開催されたDingTalk 7.5製品カンファレンスでは、70万社のニーズに基づいて作成されたAIアシスタント製品が正式に発表されました。この製品はAI利用の敷居をさらに下げ、誰でも簡単に自分のAIアシスタントを作成できるようにします。DingTalk AIアシスタントのインテリジェントデータクエリ機能は、営業、出張、人事などの領域で、複数のアプリケーションシナリオにわたってビジネスデータにアクセスし、クエリや分析を行います。ユーザーはDingTalkに保存された自身のデータに基づいて自由に質問を投げかけることができます。公式に設定された指示センターは、ユーザーが正しい質問方法を低コストで迅速に習得する手助けをします。対話型のデータAIと知識グラフ、自然言語理解などの能力を組み合わせることで、インテリジェントデータクエリは、インテリジェントQ&A、インテリジェント推奨、早期警告属性などを企業に提供します。これにより、データの高速検索、直感的な解釈、高度なデータマイニングが可能になり、誰もが専属のデータアナリストを持つことが実現され、データクエリと分析の効率が大幅に向上します。
2. DMS + AnayticDBによるインテリジェントデータクエリシナリオのサポート
ベクトルベースのリコールによるモデル出力精度の向上
インテリジェントデータクエリシナリオにおいて、Q&Aプロセス中にエンティティ（支店名、部署名、固有名詞など）を正確に特定することは難しい課題です。例えば、管理者が「第3四半期における華東地区の商品xxのパフォーマンスを確認してください。華東にはどの支店が含まれますか？」といった自然言語で入力した場合や、「第1四半期の製品部門のパフォーマンスを確認してください」と入力した場合、企業内での正式名称が「製品設計・管理部」である場合があります。また、製品SKUには企業独自の特殊コードがあり、大規模なモデルではこれらのコードを認識できません。一般的に、企業特有のデータと組み合わせたAIサービスを提供することは非常に困難です。そこで、AnayticDB for PostgreSQLのベクトル検索エンジンを使用して、10億以上のコア企業エンティティ（企業名、部署名、従業員名、固有名詞など）をベクトル化します。ベクトル検索は企業がランダムに入力した質問に対して最も正確な企業エンティティを想起し、それに大規模なモデルを組み合わせてインテリジェントQ&Aやインテリジェントデータクエリなどのサービスを提供することで、AIアシスタントのエンティティ認識と大規模モデルの出力精度を大幅に向上させます。
企業特有のエンティティ知識ベースの構築
大規模なモデルは普遍的な質問に答えることはできますが、一部の垂直分野における企業特有の知識をカバーすることはできず、データ更新のタイムリー性も保証できないため、企業内で大規模モデルの応用を展開するのは困難です。企業はDMSとAnayticDB for PostgreSQLのベクトル検索エンジンを使用して、企業特有の知識ベースを構築することができます。これは、構造化データ、半構造化データ、非構造化データを統合し、AnayticDB for PostgreSQLに格納されます。大規模モデルの推論サービスと組み合わせることで、知識ベースは企業のプライベートデータをインテリジェントQ&A、インテリジェントデータクエリ、インテリジェント生成などの大規模モデルアプリケーションに統合します。企業特有の大規模モデル知識ベースを構築するステップは以下の通りです。
- データ前処理: ベクトル化の前に、非構造化文書や画像を解析し分割する必要があります。前処理の品質は、Q&Aの再現率と精度に大きく影響します。
- 埋め込み: 大規模モデルの埋め込みアルゴリズムは前処理済みのデータブロックをベクトル化し、その結果をベクトルデータベースに保存します。
- ベクトル検索: 大規模モデルはユーザーの質問をベクトル化した後、ベクトルデータベースでベクトル検索と近似計算を行い、構造化条件フィルタリングを組み合わせて権限と範囲を制限します。
- クエリ再現: 大規模モデルはベクトル検索の結果に基づいて推論を行い、質問に最も近い回答を返します。意味検索がすべての側面をカバーできない場合、フルテキスト検索を使用して補完できます。
3. 高度なデータセキュリティを備えたChatBI機能
企業はパブリッククラウド上でAnayticDB for PostgreSQLの専用インスタンスを作成し、自社のデータを安全に保管できます。企業はDMSを通じてデータプロセスをオーケストレーションし、ChatBIを使用してビジネスロジックを実装し、プライベートドメインでNL2SQLモデルをデプロイします。これにより、異なる企業の最高レベルのセキュリティ要件を満たします。AnayticDB for PostgreSQLの行レベルおよび列レベルのアクセス制御、動的データマスキング、データ暗号化、SQL監査などのメソッドと組み合わせることで、ChatBIは企業データの安全性を最大化します。これにより、企業はプライベートドメイン内のデータセキュリティを心配せずに大規模モデルアプリケーションサービスの利点を活用できます。
4. DMS + AnalyticDBの利点
利点1：ワンストップ統合分析
1つのSQL文だけで構造化データ分析、ベクトル分析、全文検索を統合し、マルチモーダル検索を実現できます。
利点2：密接なコミュニティ連携
DMSとの統合により、AnalyticDB for PostgreSQLはOneMetaとOneOpsを使用してグローバルデータ管理、データ開発、モデル推論サービス、そしてオープンソースのDifyフレームワークを使ったエンドツーエンドの「Data
将来、Alibaba Cloud Data + AIソリューションやその他の継続的に提供されるソリューションによってカスタマイズおよびオーケストレーション可能なLLMワークフローの助けを借りて、インテリジェントなデータクエリの適用範囲を拡大し、大規模モデルソリューションを通じて企業運営におけるさまざまな問題を解決することが可能になるでしょう。これにより、運営効率が向上し、企業のインテリジェントな変革が加速され、企業の発展に新たな原動力がもたらされます。