本記事はこちらのブログを参考にしています。
翻訳にはアリババクラウドのModelStudio(Qwen)を使用しております。

過去一年における大規模言語モデルの進化とAI検索技術への影響

過去一年間で、大規模言語モデルの能力は急速に向上し、その技術も飛躍的に進歩しました。これにより、次世代の検索技術、つまりAI検索技術が急速に進化しています。大規模言語モデルの発展は、検索技術の基盤を再構築するだけでなく、さまざまな業界のデジタルトランスフォーメーションにも強力なサポートを提供してきました。

1）AI検索技術のトレンド

AI検索技術には以下の顕著な特徴があります。

再構築

1つ目は、AI検索の技術的な側面の再構築です。現在、AI検索技術は大規模言語モデルに基づいて包括的に再構築されており、テキスト解析、スライシング、ベクトル化といった一連の検索能力が再定義されています。もう1つは、情報アクセス方法や製品形態の再構築です。従来の検索がキーワードマッチングに依存していたのに対し、現在ではより自然な言語でのQ&A形式のインタラクションが主流となり、仮想デジタル人間、企業ナレッジベースのQ&A、eコマースプラットフォーム向けのインテリジェントカスタマーサービスなど、新しいビジネスシーンを生み出しています。

AIインフラストラクチャ

AI検索技術は、検索ベクトル検索、セマンティック検索、検索生成技術などを含むAIネイティブアプリケーションの重要な一部となっています。これらは多くのAIアプリケーションの基盤を形成し、データ処理の効率を向上させるだけでなく、システムとのユーザーエクスペリエンスも向上させ、企業がより効率的な情報管理とサービスを実現することを支援します。

効果の向上

現在、学術界と産業界の両方で効果に対する注目度がかつてないほど高まっています。大規模言語モデルの導入により、従来の検索と比較して検索結果の効果が質的に向上しました。ユーザーは関連情報をより迅速に取得できるため、特に複雑なクエリや深い情報検索のシナリオにおいて、意思決定の効率と精度が向上します。しかし、大規模言語モデルの導入にはいくつかの問題も伴い、特に「幻覚（ファントム）率」が課題となります。回答の正確性が非常に求められるシナリオでは、大規模モデルの回答精度を保証することが難しく、これが企業や開発者にとってAI検索サービスの実装に制約を課しています。

2）Alibaba Cloud AI検索の取り組みと進化

AI時代の進化に伴い、Alibaba Cloudはクラウド上での対応策を講じてきました。Alibaba Cloudの検索製品は歴史的に2つのエンジンに分かれています。1つはオープンソースエンジンのElasticsearch（Elastic社との協力）、もう1つは自社開発のHavenaskという検索エンジンです。

2.1 オープンソースエコシステムの進化

2017年: Alibaba CloudはElasticと戦略的パートナーシップを結び、共同で製品をリリースしました。現在使用しているのはAlibaba Cloud上のElasticsearchです。
2019年: 完全マネージド型のES（Elasticsearch）製品を継続的に改善し、運用管理機能、インテリジェントな弾力的な拡張・縮小、モニタリングおよびアラートサービスを強化しました。これにより、顧客は安定した効率的なサービスを利用でき、開発コストを削減できます。さらに、Alibaba CloudはESカーネルに基づく新機能を開発しました。例えば、インデックス作成サービスによる書き込み加速や、独自開発のストレージエンジンOpenstoreによって、大量データの場合でもストレージコストを削減します。
2022年: サーバーレスサービスをリリースし、中小規模の顧客や大量データを持つ大規模顧客のコストを50%削減し、リソース割り当てを最適化しました。
2023年: Alibaba Cloudの製品はAI検索の領域に完全に参入し、バージョン8.Xから始まりました。ベクトル検索機能が強化され、能力特性も継続的に向上しています。

2.2 自社開発プログラムの進化

2008年: Alibaba Cloudは内部オープンソースエンジンであるHavenaskの開発を開始しました。これは、淘宝（タオバオ）、天猫（Tmall）、そして内部のダブルイレブンなどの高並列性や極限シナリオに対応する検索エンジンとして利用されました。
2014年: Alibaba Cloudは、クラウド上で商用化を探索し始めました。シナリオを中心に、知能化された検索構築を支援し、業界テンプレートやパーソナライズドプログラムを提供しました。また、eコマース、コンテンツ教育、ゲームなどの業界でパーソナライズドプログラムと効果の向上を実現しました。
2023年: 大規模言語モデルの時代に入り、Havenaskは中国初のワンストップインテリジェントQ&A RAG製品およびマルチモーダルRAG製品となりました。現在までに、Alibaba Cloudは内部での深い蓄積に基づき、RAGおよびAI検索の能力を継続的に最適化しています。

2.3 検索製品の中核となる焦点

過去から現在、そして未来に至るまで、検索製品の中核となる焦点は以下の3つの主要な最適化領域に集約されます。

コスト

これは多くの顧客にとって非常に個人的な懸念事項かもしれません。大規模言語モデルの時代では、リソースの多くがGPUに基づいており、GPU自体が比較的高価であるため、いかにして顧客のコストを削減するかが、今後の製品進化における重要な方向性となります。

パフォーマンス

主に2点あります。1つは大量のAIデータの書き込みおよび処理速度、もう1つはオンラインクエリの応答速度です。これらの速度は、優れた体験を実現するために必要な要件であり、Alibaba Cloudの製品が解決するべき問題です。

効果

Alibaba Cloudは多くの顧客とオンラインまたはオフラインで意見交換を行ってきました。顧客の中には、AIのインタラクティブな能力を求める一方で、結果の100％の正確性を確保し、大規模モデルによる幻覚や捏造を許容できないシナリオもあります。このような場合、検索リンクを導入し、正確性を保証しながらAIの能力をフルに活用したインタラクションを実現します。

3）Alibaba Cloud AI検索製品紹介

Alibaba Cloud AI検索オープンプラットフォームは、LLMインテリジェントQ&A版、ログ検索サーバーレス版、業界アルゴリズム版、ベクトル検索版、グラフ検索版の5つのシナリオベースの製品を提供しています。基盤には多数のオープンソース検索エンジンが含まれており、エンタープライズ版のElasticsearch、Alibaba独自のエンジンHavenask、Milvusなどが含まれます。これにより、サポートと接続が容易になります。これらの製

この能力により、ユーザーはデータをより直感的に比較・分析でき、より正確な投資判断をサポートします。

4）Alibaba Cloud AI Search Program

4.1 Alibaba Cloud ElastisearchをベースにしたRAGシステムを構築するフルリンクソリューション

このスキームでは、Alibaba Cloud ElasticsearchとAI検索オープンプラットフォームが提供するモデリングサービスを利用して、フルリンクのRAG（Retrieval-Augmented Generation）システムを構築する方法を示しています。まず、顧客のデータソース（例：PDF、Word文書など）をシステムにインポートし、ドキュメント解析サービスによって情報が認識され抽出されます。その後、ドキュメントのスライス化とベクトル化を行い、最終的にこれらのベクトルデータはAlibaba Cloud ESに保存され、インデックスが構築されます。

オフラインでのデータ書き込みは、主に顧客が文書（例：Word、PPT、PDF）をAI検索オープンプラットフォームにインポートし、ドキュメント解析サービスを呼び出して認識・抽出を行うプロセスです。長文書の場合、システムは切り分けられ、例えば小見出しやセクションなどの構造を使用して意味論的または文書構造に基づいてカットされます。その後、スライスされたテキストは密ベクトルまたは疎ベクトルに変換され、Alibaba Cloud ESに格納されてインデックスが構築されます。これにより、元のテキストインデックス、および密ベクトルと疎データのインデックスが完成します。

オンラインでクエリを行う際には、ユーザーが質問を入力すると、内部サービスがその質問を理解し拡張します。その後、クエリ理解サービスが導入され、質問の意図を特定し、複数の可能な質問バリエーションを生成します。次に、問題はベクトルデータに変換され、インデックスが構築され、多重リコールが実行されてTop Nの知識断片が返されます。その後、モデルを再配置し、Promptエンジニアリングの形で大規模モデルに統合し、集約処理を行って顧客への最終的な回答を形成します。

さらに、Alibaba Cloud ESバージョン8.15では、Influence APIを使用してAI意味検索モデルを作成できます。デモには、汎用商用版の選択、可視化コントロールの設定、アクセスホワイトリストの設定、モデルサービスの選択、設定情報の取得、ESでのモデルの作成とデバッグといったステップが含まれます。このプロセスは、Alibaba Cloud AIモデルサービスをシームレスに統合し、モデル使用の敷居を下げ、意味検索などの機能を実現する方法を示しています。

4.2 効果評価と最適化

AI検索ソリューションの効果を確保するために、Alibaba Cloudはフルリンクの効果評価サービスも提供しています。このプラットフォームは、顧客が回答結果の関連性、幻覚率、信頼性を三次元的に評価することを支援します。この評価メカニズムは、単一サービスの効果テストだけでなく、複数のサービスの同時評価にも対応しており、開発者の意思決定効率を向上させます。これらの評価を通じて、企業は問題を特定し、迅速に最適化できるため、AI検索サービスの安定性と精度を確保し、ユーザー満足度を向上させることができます。

閉幕

Alibaba Cloud AI検索ソリューションバージョン8.15では、従来の機能に加えて、AIサービスセンターの列とモデル管理機能が追加されました。また、AIオープンプラットフォームスペースとAPIをワンクリックで作成可能で、バージョン8.13のすべての機能も引き続きサポートされています。8.15カーネルはベクトル機能とAI検索機能を強調しており、ログ記録などの基本的なアプリケーションシナリオにも対応しており、コスト削減が必要な顧客に適しています。

課金面では、従量制または年間/月額パッケージを柔軟にサポートし、AIプラットフォームはコールごとに課金され、最初の100回の呼び出しが無料で提供されます。さらに、Alibaba Cloudは企業の成長を支援するための大規模なプロモーション活動を展開しています。

Alibaba Cloud Elacticsearch バージョン8.15
新規購入の年払いパススルー全仕様が50%オフ！
Alibaba Cloud Elacticsearch 非8.15バージョン
2コア/4コア全仕様新規購入の年払いパススルーが50%オフ！