Driving a Large Language Model Revolution in Customer Service and Support - The Databricks Blogの翻訳です。
本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
自分の手でLLMによるbotを構築したいですか？こちらからエンドツーエンドのソリューションアクセラレータをダウンロードしてください。
訳者註 上記アクセラレータを翻訳したものをこちらでウォークスルーしています。
ビジネスリーダーはすべからく、OpenAIのChatGPT、GoogleのBard、MosaicMLのMPTのような大規模言語モデル(LLM)のポテンシャルに興奮しています。大規模なテキストを解釈し、この情報に基づいて新たなコンテンツを生成するこれらの能力は、さまざまな既存ビジネスプロセスを変革するポテンシャルを持ち、これまでは人間の専門家にのみ許された数多くのタスクのスピード、規模、一貫性を改善します。
この興奮が最も大きいのは、エージェント主導のサービスやサポートに依存している領域です。これらの技術が出現する前は、企業は、さまざまな企業のポリシーや手順を構成する大規模なドキュメントを通じたトレーニングで精通した多数の個人に依存していました。エージェントはルールに沿って対応する能力だけではなく、ドキュメントに明示的に記載されていないエッジケースに対応するために、ルールを解釈する能力が求められることがあります。
エージェントが軌道に乗るようにするのは、多くの場合時間を浪費するものとなります。高い回転率と相まって、これらのプロセスの背後にあるさまざまなコールセンターやサポートデスクのスタッフを揃えることは、長い間認識されている課題でした。リクエストをオンラインの知識ベースやインタラクティブな音声解答システム(IVR)、前世代のチャットbotににオフロードする試みは、多くの場合お客様がこれらのサービスにフラストレーションを感じ、サービスの役に立たないということになりました。
しかし、人間のエージェントのトレーニングに使用されたのと同じドキュメントから抽出された知識と事前学習済みLLMモデルは、すぐに正常運行になり、お客様の需要に完璧にアラインする規模でデプロイすることができます。これらのモデルは決して疲れることがなく、不機嫌になることもなく、決して退職しません。そして、この技術の初期段階では、サービスアンドサポートのインタラクションをシンプルにLLMベースのエージェントに切り替えることをお勧めしませんでしたが、現在のこれらの能力は完璧に人間のエージェントを拡張することができ、ランプアップの時間を削減しつつも、それらの作業のスピード、効率、一貫性、精度を改善するガイドとサポートを提供します。簡単に言えば、LLMはビジネスがどのようにサポートサービスを提供するのかを革新する準備ができているということです。
権威あるレスポンスには企業固有のコンテンツが必要です
このトピックに関する会話における注意の多くは、大規模言語モデル自身のことに向けられていますが、それらが生成するアウトプットの品質は、それらが消費するコンテンツに依存します。多くのモデルは最初に、うまく作成された、時にはユーザーのプロンプトや質問に対する人間のレスポンスのような結果を生み出せるように、大量の一般的な情報が与えられます。しかし、特定の企業で使用されている特定のポリシーや手順に合わせたレスポンスをLLMが生成するには、これらの詳細情報を示し、それらのドキュメントから生成される特定のコンテキストでレスポンスを行うようにタスクが課せられる必要があります。
この用途に設計された多くのLLMベースのエージェントで採用されている戦略は、モデルがユーザーが生成した質問と、これまでは適切なドキュメントによって決定されていたコンテキストに対してフレンドリーで有用、プロフェッショナルなレスポンスを生成するというタスクを課する一連の指示を提供するというものです。このレスポンスを生成するための3パートのアプローチは、ユーザーの質問と適切なドキュメントをシステムの指示と組み合わせることで、botは企業の期待により一貫性のあるレスポンスを合成できるようになります。
コンテンツ管理が最もタフな課題です
そうすると、課題は指定された質問に最も適切なドキュメントはどれかということになります。このトピックにおける技術的な議論の多くは、ドキュメントを数値ベクトル(エンべディング)に変換する戦略や、高速な類似検索の実行に向きがちですが、大きな課題は、通常は組織的なものとなります。
数年間、ITプロフェッショナルはさまざまな分析機能をサポートするための、膨大なデータのリポジトリを構築してきましたが、これらの労力は主にさまざまなオペレーショナルシステムから収集された高度に構造化されたデータにフォーカスされていました。データ管理と分析に対する最も広範なアプローチのチャンピオンは、企業の情報の80から90%は我々がよく非構造化データと呼ぶメッセージ、ドキュメント、音声、動画ファイルに含まれていると大声で叫び、これらのデータに対する不可避な分析ビジョンを導きだすために、これらのそれぞれを活用できないことから、非構造化データは多くの場合、いかなる集中管理のデータ管理から除外されていました。
今では、LLMを用いた権威あるレスポンス生成にコンテキストを提供する必要がある非構造化データ資産は、企業全体に散らばっています。このため、企業はどのようにこれらの生成型のテクノロジーを活用するのがベストなのかを議論していますが、ソリューションが青信号になった際に、企業がアクションを起こせるようになるために、適切な非構造化データ資産の管理を集中管理するための戦略を積極的に定義し始める必要があります。
Databricksは構造化データ、非構造化データの両方に対する理想的なソリューションです
Databricksにおいて我々は長い間、分析とデータ管理に対する広範なビューの提唱者であり続けました。我々の統合レイクハウスプラットフォームを通じて、我々は企業に対して構造化データであろうが非構造化データであろうが、彼らのすべての情報資産すべてを活用するための一貫性があってスケーラブルで、コスト効率の高い手段を提供することにフォーカスしています。これは、データ収集や、セキュリティ、ガバナンス、コラボレーションの全てに対する豊富な機能を含む処理のさらなる先をいくものです。我々は、皆様のLLMの成功の基盤を構築するための理想的なプラットフォームがDatabricksであることを信じています。
そして、我々の能力は単なるデータ管理の先を行きます。Databricksには、より伝統的なビジネス分析に機械学習とAIを導入してきた長い歴史があります。我々が皆様のデータに対する完全なスペクトラムを提供するのと同じように、我々はビジネスアナリスト、データサイエンティスト、アプリケーション開発者に、保持しているデータから完全なポテンシャルを抽出するパワフルなプラットフォームを提供します。
この広範な機能をサポートする我々の能力の鍵となるのが、オープンソースイノベーションを受け入れることです。Databricksは最初から、企業がよく管理、統治されるデータ基盤を維持しつつも、迅速にオープンソースコミュニティから生まれる最新かつ最も偉大な能力を活用するために、自分たちの分析を迅速にピボットすることを可能にするオープンなプラットフォームとして構築されています。そして、LLMに占められている領域以上にオープンソースを最も受け入れることのインパクトがあるところはないでしょう。
オープンソースが重要であることを受け入れましょう
ここ最近では、プロプライエタリなLLMのイノベーションに対する興奮が高まっていますが、我々や多くの他の人たちは、この領域におけるオープンソースコミュニティの急速な発展を認識しています。最近リークしたメモによると、Googleのシニアな従業員はこう嘆いています。「我々には堀がないが、OpenAIも同じだ。」OpenAI、Googleやその他のイノベーションは、この領域の初期では多くのスポットライトを浴びましたが、現実にはオープンソースコミュニティではすでにクイックにキャッチアップし、企業にとってこれらの技術の導入の妨げとなっていた悩み深い問題の多くを解決する能力を示していました。現在では、我々はこれらのクローズドソースソリューションによってイノベーションが持たされたことを認識していますが、企業はベンダーロックインを避けることで向こう数年で方向性を切り替えられる柔軟性を保持することが重要であると我々は信じています。
すでに、LLMベースアプリケーションの開発における新たなスタンダードが出現しており、Databricksはプラットフォームにおいてこれらのインテグレーションのサポートを行っています。LLMコミュニティが方向転換を行い、企業が容易に自分たちの情報資産とこれらの技術を接続し続けられるように、彼らが前進できるようにさらなるエンハンスを行っていきます。
これは、LLMコミュニティが向かう方向を受動的に観測しているだけではなく、この領域において認知されているリーダーの考えに直接挑戦するようなことも含め、対話を通じたアクティブなエンゲージメントによってもドライブされています。我々は内部的かつお客様と一緒に数多くのLLMベースのソリューションの開発にアクティブに関与しています。そして、可能な時には常に、LLMベースのソリューションをどのように構築できるのかを正確に説明する無料かつ公開のコードをリリースし続けます。
すぐに初めてのLLMベースのチャットbotを構築しましょう
このようなことを念頭に置いて、上で説明したようなLLMベースのコンテキストが有効化されたチャットbotソリューションをどのように構築するのかをご説明したいと思います。我々の(ユーザーが我々の取り組みを再現できるように公開されている)知識ベースから得られるコンテンツを用いて、LLM技術を活用したカスタマーサポートの質問に対応できるソリューションを構築しました。データ準備、エージェント開発、数多くのアプリケーションにエージェントを組み込めるようにするためのマイクロサービスのデプロイメントを含む我々の取り組みの背後にあるステップバイステップのコードには、皆様の組織でこのソリューションを理解して自分たちでスタートできるように、十分なコメントとドキュメントが含まれています。我々はこのソリューションの内部でのビルドをSlackにインテグレーションしました。
これらの資産をこちらからダウンロードし、LLMを皆様のビジネスプロセスにどのようにインテグレーションできるのかを議論するためにDatabricks担当者にコンタクトしてみてください。