こんにちは。Kaneyasuです。
2月に発売されたAmazon Bedrock超入門を読んでみました。
書籍を読んでみると、そもそも自分の中で用語の整理ができてないと感じたので、自分用にブログを書きながら整理してみました。
AIモデル＝LLM＝基盤モデル
AIの実体は機械学習のモデルです。
AIモデルは機械学習のモデルなので、本来は自前で学習をさせねばなりません。
自然言語でやりとりできるよう、膨大な自然言語のデータを学習させているAIモデルは、大規模言語モデル（Large Language Model、略してLLM）と呼ばれます。
基盤モデルとも呼ばれるようです。
一般的に、AIモデルというと事前学習済みの大規模言語モデルを指し、AIモデル＝大規模言語モデル（LLM）＝基盤モデルを連想するようです。
この書籍の中（というかAWSマネジメントコンソールの中）でも、厳密には使い分けることができてないようで、AIモデル＝LLM＝基盤モデルと思っていいのではと感じました。
AIプラットフォーム
ChatGPTのGPTの部分は、AIモデルです。
AIモデルは世の中に多数あり、AIモデルを動かす基盤がAIプラットフォームです。
AIプラットフォームは、好きなAIモデルを選択して動かせるようになっています。
3大クラウドのAWS、Azure、GCPにはそれぞれAIプラットフォームのサービスが存在します。
AWS - Amazon Bedrock
Azure - Azure AI
GGP - Google VertexAI
Amazon Bedrockで提供しているAIモデル
Amazon Bedrockで提供されてるAIモデルは以下のものがあります。
先日話題になったClaude3もAIモデルの一つです。
- Amazon Titan
- AI21 Labs/Jurassic-2
- Anthropic/Claude
- Cohere/Command
- Meta/Llama 2
- Stability AI/Stable Diffusion XL
Amazon BedrockとAmazon Kendraの違い
よくセットで語られるAmazon BedrockとAmazon Kendraですが、この2つは扱っている領域が違います。
Amazon Kendoraは機械学習 (ML) を利用した検索サービスで、自然言語で検索可能です。
ドキュメントの在処を指定すると、渡された自然言語から該当するドキュメントを検索します。
また、検索の精度を機械学習で高めることができます。
検索までで、回答そのものを作るサービスではりありません。
Amazon BedrockとAmazon Kendraを組み合わせて使用する場合、
質問の回答になり得そうなドキュメントをAmazon Kendraで探し、
Amazon BedorkがHITしたドキュメントたちから回答を作るという役割分担をします。
ハルシネーションとRAG
ハルシネーションとは、人工知能が学習したデータからは正当化できないはずの回答を堂々とする現象です。
一言で言うと、知ったかで答えてくるということです。
これを軽減する手法がRAG（Retrieval-augmented Generation）です。
RAG は、LLM の既に強力な機能を、モデルを再トレーニングすることなく、特定の分野や組織の内部ナレッジベースに拡張します。LLM のアウトプットを改善するための費用対効果の高いアプローチであるため、さまざまな状況で関連性、正確性、有用性を維持できます。
要はAIモデルを回答を作る時に、ネタ元を提供することで誤回答を防ぐ手法です。
Amazon Bedrockで言うと、「Amazon Kendraの検索結果をネタ元として回答を作成するよう指示する、これにより精度をあげる手法」という感じです。
私はRAGのことは、機能が存在するというより、設計・構築手法と捉えています。
Ragas
Ragasとは、RAG（Retrieval Augmented Generation） Assessmentの略で、RAGを用いた回答を得る仕組みを評価するフレームワーク（手法）です。
機能のことではありません。
LangChain
AIモデルにプロンプト（質問）を投入すると回答が得られます。
ただし、AIモデルではチャットのようなものは用意されていません。
また、AIモデルごとにプロンプトの投げ方、回答の返り方が異なるので開発者はAIモデルごとの差を意識して実装する必要があります。
チャットを実現できるように、やり取りを記録する、やり取りを踏まえて回答する機能。
AIモデルごとの入出力形式の差を吸収するのがLangChainです。
LangChainを通してAIモデルとやり取りすることで、チャット形式に対応したり、AIモデルを変えても対応できたりします。