Simplifying Product On-Boarding with Generative AI | Databricks Blogの翻訳です。
本書は著者が手動で翻訳したものであり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
サプライヤーと小売業者の製品データの精度と効率性を改善するために生成AIを活用
サマリー
- 生成AIはサプライヤーと小売業者両方におけるデータの精度、一貫性、完全性を改善することで製品のオンボーディングを支援します。
- AIは、製品の説明文を処理・整形し、画像を解析し、処理を円滑にするために適切な検索単語を生成します。
- Databricksのプラットフォームは、AIワークフローとのシームレスな連携をサポートしており、スケーラブルのソリューションのためのバッチ、リアルタイム処理を提供します。
新製品の登録はサプライヤーと小売業者の両方にとって複雑で時間を浪費するプロセスです。多くの場合小売業者は、オンボーディングプロセスの妨げとなる不完全で不正確、あるいは、低品質の製品情報による問題を報告しています。一方、サプライヤーは多くの場合、情報に対して冗長で重複したリクエストに圧倒されていることに気づき、公理パートナーによって求められる膨大な詳細情報の提供に苦戦しています。利用可能な製品数、特に継続的に拡張していくオンラインサイトにおいては、両社におけるこのプロセスを改善するという要求は増加する一方ですが、生成AIを活用することでそれらを可能にします。
一般的な製品データの課題に取り組むために生成AIを活用
この機会に対してどのようにアプローチするかは、製品オンボーディングの過程で遭遇する特定の課題に依存します。最低でも、製品名や説明文のようなさまざまな要素を調査し、生成AIにこれらの詳細情報が一貫性があるか、そうでない場合には理由を尋ねることでしょう。また、スペルが間違った単語、略語、他のセクションに属する技術仕様のような一般的な問題を検索し、モデルに綺麗にするように指示することでしょう(図1)。
図1. テキストをより利用しやすいようにするためにLlama 3.1 8B Instructに指示する前後のサンプル製品の説明文
さらに進めると、モデルに製品に関連づけられている画像を検証し、一貫性を再度検証するために、他の要素と比較するために使うであろうアイテムの説明文を抽出するようにモデルに依頼することもあるでしょう(図2)。
図2. 製品画像とLlama 2.3 11B Visionモデルを用いて抽出した説明文
検索で支援するためのキーワードと検索タームを提案するために、モデルに提供された説明文と抽出した説明文(と関連メタデータ)を用いることに依頼することもあるでしょう(図3)。
図3. Llama 3.1 8B Instructモデルを用いて図1と図2にあるグリルから生成された検索ターム
また、アイテムの主要な色のように画像から鍵となる属性を特定するようにモデルに指示を行い、サプライヤーが登録の際に提供しなかった詳細情報に対応するためにその情報を使うかもしれません(図4)。
図4. 製品画像とLlama 2.3 11B Visionモデルを用いて特定した主要な色
これらのモデルをこのように用いる際のコアとなる課題の一つは、我々が業界で定義するであろう制約に、モデルの出力が常に準拠するわけではないということです。例えば、GreyやMetallicのようにサポートされる色と揃えるように、家電の主要な色としてSilverの値を抽出したいと考えます。これらのシナリオにおいては、許容できる選択肢のリストをモデルに提供し、調査されるアイテムと最も適合するものにレスポンスを制限するように指示します。
意味に基づく検索を実行するために様々な属性を使うための他のアプローチは、テキストや画像が概念的に類似したアイテムが互いに近くなるように配置される数値のインデックスに変換される生成AIテクニックかもしれません。事前に検証された高品質アイテムの詳細とこのテクニックを用いることで、非常に関連したアイテムを特定し、それらから製品の階層構造における位置のように関連する属性を取得できます。
様々なアプローチで備えることで、アプリケーションをどうのように構成するかに関する選択肢を持つことができます。初期の実装においては、企業がバッチ処理を実装し、既存の製品オンボーディング手続が阻害されないように、サプライヤーの送信後にデータ入力を検証、修正しているのを目撃しました。信頼できる結果を提供するようにプロンプトとモデルが適切に調整されると、多くの場合、データ入力の際に生成AIを適用し、問題を特定したらサプライヤーに代替案を提案するような新たなアプリケーションの開発に興味が移るのを我々は目撃しています。両方のアプローチは効果的ですが、関連する変更管理の点で違いがあります。
ソリューションを構築するためにDatabricksプラットフォームを活用
バッチかリアルタイムかに関係なく、これらの生成AIワークフローの実装は、Databricksデータインテリジェンスプラットフォームによってシンプルなものとなります。様々なデータフォーマットのサポートによって、Databricksは簡単に入力される構造化データ、非構造化データを処理することができます。オープンな性質から、このプラットフォームは様々な生成AIモデルをサポートしており、最も人気のあるモデルの多くは簡単にアクセスできるようにインテグレーション済みです。セマンティック検索を可能にする特殊なデータベースであるベクトルストアのような周辺技術もインテグレーション済みであり実装をシンプルにします。
構築するアプリケーションに関しては、Databricksはバッチとリアルタイムのワークフローをサポートしており、新たな情報が到着する背後でのデータ処理を可能にします。インタラクティブでユーザーが利用するアプリケーションが好まれるシーンにおいては、プラットフォーム組み込みのアプリケーション機能が、内外の利用者の両方に対してスケーラブルでインテグレーションされたソリューションの構築とデプロイメントをシンプルなものにします。
Databricksデータインテリジェンスプラットフォームの広範な機能によって、企業は構築に必要なものをどのようにまとめ上げるのかではなく、実現したいことの詳細にフォーカスするために製品オンボーディングソリューションの構築に目を向けることができるようになります。
実際に動くものを見たいですか？
一般的な製品オンボーディングの問題を解決するためにどのようにDatabricksデータインテリジェンスプラットフォームで生成AIを活用するのかのデモンストレーションを支援するために、様々なテクニックをデモンストレーションする新たなソリューションアクセラレータを構築しました。Amazon Berkeley Objects (ABO) Datasetの製品画像とメタデータを用いて、様々な問題を特定、修正するためのバッチ処理ワークフローでこれらのテクニックをどのように活用するのかをデモンストレーションしています。生成AIモデルからいくつかの詳細を引き出すことで、選択したモデルが期待通りに動いていることに対する自信を得るためになされるべき訂正をスポットチェックすることができます。製品オンボーディングの課題を解決するために生成AIを活用する子に興味を持っている企業においては、我々のコードを確認し、説明されているテクニックからインスピレーションを得、自分たちに合わせてコードを修正し、すぐにDatabricksで自分の製品オンボーディングソリューションの構築を始めましょう。
生成AIによる製品オンボーディングのソリューションアクセラレータをダウンロードしましょう。