はじめに
現在、RAGを色々な所で試している中で、検索結果としては複数の正解ドキュメントが返ってきているものの、最終的な回答生成でいまいちな回答になっている、という問題点がありました。
そこで、RAGの検索・拡張・生成のうち、生成の処理の改善方法についていくつか試した内容を共有したいと思います。
前提
- RAGのアーキテクチャはNaive RAGを想定
- 検索処理の結果、コンテキストとなるドキュメントは絞り込まれたものの、現時点では質問に関係するものも関係しないものも、検索結果として与えられると想定(ベクトル検索及びキーワード検索の結果だけで100点を取ることは難しいため)
- ユーザークエリと検索結果として得られた5件のドキュメント情報が与えられると仮定
質問と回答の特性
今回の前提では、正解となるドキュメントが玉石混合で渡されるため、質問に応じて以下の4パターンの回答を用意する必要があると考えます。
質問特性と目指すべき回答
| 質問の特性 | 狙い・検証ポイント | わかりやすい質問例 | 目指すべき回答・挙動 |
|---|---|---|---|
|
1. 単一正解 (Single Hop) |
【正確性】 一つの正解文書を見つけ、そこから事実をそのまま抜き出せるか。 |
Q: 通勤交通費の支給上限額はいくらですか? |
A: 月額3万円までです。[参照: 経費精算規定 第5条]※余計な解釈を入れず、ズバリ答える。 |
|
2. 複数情報の統合 (Multi Hop / Synthesis) |
【推論・統合能力】 A文書(制度)とB文書(条件)を組み合わせて、一つの答えを導き出せるか。 |
Q: 新幹線を使った出張の際、日当は出ますか?また、領収書は必要ですか? |
A: はい、日当は一律2,000円支給されます。また、領収書の提出は必須です。[参照: 出張旅費規定, 経費精算マニュアル]※「日当のルール」と「精算の手順」を合体させて答える。 |
|
3. 曖昧な質問 (Ambiguity / Disambiguation) |
【対話・ナビゲーション】 質問の言葉が広すぎて、複数の異なるマニュアルが引っかかった場合に、ユーザーに聞き返せるか。 |
Q: パスワードの変更方法を教えてください。 |
A: [選択肢の提示] いくつかのシステムの変更手順が見つかりました。どれについて知りたいですか? A: PCログインのパスワード B: 近怠システムのパスワード C: 社用スマホのパスコード ※PCの話かスマホの話か、勝手に決めつけない。 |
|
4. 正解なし (Unanswerable) |
【安全性・ハルシネーション抑制】 検索しても答えがない時、適当な嘘(ハルシネーション)をつかずに「知らない」と言えるか。 |
Q: 社長の誕生日はいつですか? (※社内規定に記載なし) |
A: [回答不能] 申し訳ありませんが、提供された社内ドキュメントには社長の誕生日に関する情報は記載されていません。 ※「4月1日です」などと嘘をつかない。 |
回答生成のお試し
検証内容
いくつかプロンプトを用意し、上記の正解となる回答が引き出せるかを確認。
検証環境
- Gemini「高速モード」上で以下の利用データ・質問を入力したプロンプトを入力し、 正解となる回答が導き出せるかを確認。
利用データ
コンテキスト(生成AIを使い適当に作成したドキュメント)
| ファイル名 (Source) | トピック (Topic) | 概要 (Page Contentの要約) |
|---|---|---|
spec/01_mission.pdf |
ビジョン | ブロックチェーン技術を活用し、地域コミュニティ内でのP2P電力取引を可能にする分散型プラットフォーム「GridLink」の開発を目指す。 |
spec/02_contracts.tex |
ブロックチェーン | 取引ロジックはSolidityで記述されたスマートコントラクト上に実装され、取引成立時にはERC-20準拠のトークンが移動する。 |
spec/03_data_flow.md |
データ処理 | スマートメーターデータをオフチェーンに集約し、オラクルサービスを通じて定期的にブロックチェーンへ反映させる。 |
spec/04_consensus.rst |
技術選定 | Proof of Stake (PoS)ベースのカスタムチェーン、またはL2ソリューション(例:Polygon)の採用を検討する。基準は速度と低コスト。 |
spec/05_ui_ux.html |
フロントエンド | ユーザー向けダッシュボードでは、リアルタイムの電力需給グラフ、取引価格、ウォレット残高を表示し、直感的な操作を可能にする。 |
[
{
"page_content": "### 1. プロジェクトミッション\n本プロジェクトは、**ブロックチェーン技術**を活用し、地域コミュニティ内での**P2P(ピアツーピア)電力取引**を可能にする分散型プラットフォーム**「GridLink」**の開発を目指す。これにより、再生可能エネルギーの自家消費と余剰電力の効率的な流通を促進する。",
"metadata": {
"source": "spec/01_mission.pdf",
"version": "1.0",
"topic": "ビジョン",
"author": "PM Kenji T.",
"date_published": "2025-09-20"
}
},
{
"page_content": "### 2. コントラクト設計とトランザクション\n取引の公正性を担保するため、全ての取引ロジックは**Solidity**で記述された**スマートコントラクト**上に実装される。電力購入・販売の要求はトランザクションとして処理され、取引が成立した時点で**ERC-20準拠のトークン**が移動する。",
"metadata": {
"source": "spec/02_contracts.tex",
"version": "1.3",
"topic": "ブロックチェーン",
"tags": ["Solidity", "Smart Contract", "ERC-20"],
"complexity": "High"
}
},
{
"page_content": "### 3. デバイスデータ連携(スマートメーター)\n各家庭の**スマートメーター**から取得される電力使用量および発電量データは、**オフチェーン**のセキュアなストレージに集約された後、**オラクルサービス**を通じて定期的にブロックチェーンに反映される。データは**改ざん防止**のためハッシュ化される。",
"metadata": {
"source": "spec/03_data_flow.md",
"version": "1.0",
"topic": "データ処理",
"data_source": "Smart Meter",
"interval_sec": 300
}
},
{
"page_content": "### 4. コンセンサスアルゴリズムの選定\n**高いトランザクション処理速度**と**低コスト**を実現するため、メインチェーンには**Proof of Stake (PoS)**ベースのカスタムプライベート/コンソーシアムチェーンを採用する。または、既存の**L2ソリューション**(例:Polygon)の採用も検討する。",
"metadata": {
"source": "spec/04_consensus.rst",
"version": "1.1",
"topic": "技術選定",
"decision_status": "Pending",
"criteria": ["Speed", "Cost", "Scalability"]
}
},
{
"page_content": "### 5. ユーザーインターフェース(取引ダッシュボード)\nユーザー向けダッシュボードでは、**リアルタイムの電力需給グラフ**、**現在の取引価格**、および**ウォレット残高**が表示される。取引の操作は、**直感的**なインターフェースを通じて簡単に行える設計とする。",
"metadata": {
"source": "spec/05_ui_ux.html",
"version": "1.0",
"topic": "フロントエンド",
"target_device": "Web/Mobile",
"design_tool": "Figma"
}
}
]
質問と正解
| 質問の特性 | 質問例 | 想定される回答/挙動 | 関連ドキュメント (Source) |
|---|---|---|---|
|
1. 単一正解 (Single Hop) |
Q: 電力取引の公正性を担保するために、取引ロジックはどのプログラミング言語で実装されますか? |
A: Solidityで記述されたスマートコントラクト上に実装されます。[参照: spec/02_contracts.tex]
|
spec/02_contracts.tex |
|
2. 複数情報の統合 (Multi Hop / Synthesis) |
Q: システムの目的(ミッション)と、その目標達成のために選定が検討されているコンセンサスアルゴリズムの基準を教えてください。 |
A: 地域P2P電力取引の可能化が目的です。コンセンサスアルゴリズムの選定基準は、高いトランザクション処理速度、低コスト、およびScalabilityです。[参照: spec/01_mission.pdf, spec/04_consensus.rst]
|
spec/01_mission.pdfspec/04_consensus.rst
|
|
3. 曖昧な質問 (Ambiguity / Disambiguation) |
Q: ブロックチェーンに関わる主な仕組みにはどのようなものがありますか? |
A: [選択肢の提示] ブロックチェーンに関連する情報が複数見つかりました。どちらの詳細が必要ですか? A: コントラクト設計とトランザクション(SolidityとERC-20トークン) B: コンセンサスアルゴリズムの選定(PoSやL2ソリューション) → AまたはBでお答えください。 |
spec/02_contracts.texspec/04_consensus.rst
|
|
4. 正解なし (Unanswerable) |
Q: データベースとしてPostgreSQLを採用する理由について記述されているドキュメントはありますか? |
A: [回答不能] コンテキストには、この質問に直接答えるための情報が見つかりませんでした。 |
なし (※PostgreSQLはGridLinkのドキュメントには記載がないため) |
実験(ベースライン)
特に工夫をしないプロンプトでどういう回答が得られるかを確認
プロンプト
# 1. システム指示(役割と厳守事項)
あなたは、与えられた情報源(コンテキスト)のみに基づいて質問に回答する、厳格で正確な情報抽出AIアシスタントです。
あなたの最大の役割は「コンテキストに忠実であること」です。
## 厳守事項
1. **外部知識の使用禁止:** 与えられた[コンテキスト]に含まれる情報以外は、一切回答に使用しないでください。
### 2. 入力データ構造
## [質問]
ユーザーからの質問テキスト。
## [コンテキスト]
RAGシステムが検索し、関連性が高いと判断したドキュメントのリスト。
各ドキュメントは以下の構造で提供されます。
### 構造の例
-----
## Doc ID: [ID番号] Source: [メタデータの source 値] Topic: [メタデータの topic 値] Content: [page\_content の内容]
-----
### 3. 回答フォーマット
---
## 質問
[質問の内容をそのまま復唱]
## 抽出された回答
[あなたの生成した正確な回答をここに記述。回答の後に、使用した**全ての**コンテキストのSource(例: `[参照元: spec/02_contracts.tex]`)を追記すること。]
## 回答の根拠(使用したドキュメントID)
[回答に使用したコンテキストのDoc IDを全てリストアップしてください。]
---
# 4. 入力データ
## 質問
(****)
## コンテキスト
(****)
結果(表に載せるため、回答結果のマークダウンの体裁は一部加工)
| 質問 | 関連ドキュメント (Source) | 回答 |
|---|---|---|
| Q: 電力取引の公正性を担保するために、取引ロジックはどのプログラミング言語で実装されますか? | spec/02_contracts.tex |
## 抽出された回答 取引の公正性を担保するため、全ての取引ロジックはSolidityで記述されたスマートコントラクト上に実装されます。[参照元: spec/02_contracts.tex] |
| Q: システムの目的(ミッション)と、その目標達成のために選定が検討されているコンセンサスアルゴリズムの基準を教えてください。 |
spec/01_mission.pdfspec/04_consensus.rst
|
システムの目的(ミッション)は、ブロックチェーン技術を活用し、地域コミュニティ内でのP2P(ピアツーピア)電力取引を可能にする分散型プラットフォーム**「GridLink」**の開発を目指すことです。これにより、再生可能エネルギーの自家消費と余剰電力の効率的な流通を促進します。その目標達成のために選定が検討されているコンセンサスアルゴリズムの基準は、以下の2点です。高いトランザクション処理速度/低コスト [参照元: spec/01_mission.pdf, spec/04_consensus.rst] |
| Q: ブロックチェーンに関わる主な仕組みにはどのようなものがありますか? |
spec/02_contracts.texspec/04_consensus.rst
|
ブロックチェーンに関わる主な仕組みとして、以下のものがコンテキストから確認できます。 * P2P(ピアツーピア)電力取引:ブロックチェーン技術を活用し、地域コミュニティ内でのP2P電力取引を可能にするプラットフォームの開発が目指されています。 * スマートコントラクト:取引の公正性を担保するため、全ての取引ロジックはSolidityで記述されたスマートコントラクト上に実装されます。 * トランザクション処理とトークン移動:電力購入・販売の要求はトランザクションとして処理され、取引が成立した時点でERC-20準拠のトークンが移動します。 * オフチェーンデータ処理とオラクルサービス:スマートメーターから取得される電力データはオフチェーンのセキュアなストレージに集約された後、オラクルサービスを通じてブロックチェーンに反映されます。 * コンセンサスアルゴリズム:高いトランザクション処理速度と低コストを実現するため、メインチェーンにはProof of Stake (PoS)ベースのカスタムプライベート/コンソーシアムチェーンの採用、または既存のL2ソリューション(例:Polygon)の採用が検討されています。[参照元: spec/01_mission.pdf, spec/02_contracts.tex, spec/03_data_flow.md, spec/04_consensus.rst] |
| Q: データベースとしてPostgreSQLを採用する理由について記述されているドキュメントはありますか? | なし | 提供されたコンテキストには、データベースとしてPostgreSQLを採用する理由に関する記述は含まれていません。 [参照元: なし] |
「曖昧な質問」については回答結果が記載されているものの、どのドキュメントがどの回答に紐づいているのかわかり辛い回答となっており、回答に不要なドキュメントも参照されている。
実験(プロンプト修正)
質問によって回答のフォーマットを変える様に指示し、どういう回答が得られるかを確認
プロンプト
# 1. システム指示(役割と厳守事項)
あなたは、与えられた情報源(コンテキスト)のみに基づいて質問に回答する、厳格で正確な情報抽出AIアシスタントです。
あなたの最大の役割は「コンテキストに忠実であること」です。
## 厳守事項
1. **外部知識の使用禁止:** 与えられた[コンテキスト]に含まれる情報以外は、一切回答に使用しないでください。
2. **根拠の明示:** 回答に使用したコンテキストの参照元情報(`Source`または`Doc ID`)を必ず明確にしてください。
3. **回答不能な場合の対応:** 質問の回答に必要な情報が**全く**見つからない場合、以下のフォーマットで明確に回答してください。
`[回答不能]: コンテキストには、この質問に直接答えるための情報が見つかりませんでした。`
### 2. 入力データ構造
## [質問]
ユーザーからの質問テキスト。
## [コンテキスト]
RAGシステムが検索し、関連性が高いと判断したドキュメントのリスト。
各ドキュメントは以下の構造で提供されます。
### 構造の例
-----
## Doc ID: [ID番号] Source: [メタデータの source 値] Topic: [メタデータの topic 値] Content: [page\_content の内容]
-----
### 3. タスク指示と条件分岐(回答ロジック)
以下のロジックに従い、[質問]に回答してください。
#### A. 単一または統合可能なコンテキストの場合
回答に必要な情報が単一のドキュメント、または複数のドキュメントに分散しているが、それらを**統合して一つの明確な回答**を作成できる場合、以下の**[フォーマット I]**で回答を生成してください。
#### B. 複数の独立したコンテキスト(曖昧な質問)の場合
回答に関連する情報が**複数のドキュメント**に存在し、それらが**質問の異なる側面**について述べており、**一つの回答に統合するのが不適切**であると判断した場合(質問が曖昧である可能性が高い)、ユーザーに選択を促すために以下の**[フォーマット II]**で回答を生成してください。
### 4. 回答フォーマット
---
#### [フォーマット I]:単一/統合回答(質問が明確な場合)
## 質問
[質問の内容をそのまま復唱]
## 抽出された回答
[あなたの生成した正確な回答をここに記述。回答の後に、使用した**全ての**コンテキストのSource(例: `[参照元: spec/02_contracts.tex]`)を追記すること。]
## 回答の根拠(使用したドキュメントID)
[回答に使用したコンテキストのDoc IDを全てリストアップしてください。]
---
---
#### [フォーマット II]:選択肢提示回答(質問が曖昧な場合)
## 質問
[質問の内容をそのまま復唱]
## 選択肢の提示
質問に関連する情報が、以下の複数のドキュメントに見つかりました。どちらのトピックについて、より詳細な情報が必要ですか?
| 選択肢 | ドキュメントの概要 | Source |
| :--- | :--- | :--- |
| **A** | [Doc Aの**Content**の主旨を1文で要約] | [Doc Aの Source 値] |
| **B** | [Doc Bの**Content**の主旨を1文で要約] | [Doc Bの Source 値] |
| **C** | [Doc Cの**Content**の主旨を1文で要約] | [Doc Cの Source 値] |
| ... | ... | ... |
**→ どちらか(A, B, C...)でお答えください。**
---
# 5. 入力データ
## 質問
(****)
## コンテキスト
(****)
結果(表に載せるため、回答結果のマークダウンの体裁は一部加工)
| 質問 | 関連ドキュメント (Source) | 回答 |
|---|---|---|
| Q: 電力取引の公正性を担保するために、取引ロジックはどのプログラミング言語で実装されますか? | spec/02_contracts.tex |
電力取引の公正性を担保するため、全ての取引ロジックはSolidityで記述されたスマートコントラクト上に実装されます。[参照元: spec/02_contracts.tex] |
| Q: システムの目的(ミッション)と、その目標達成のために選定が検討されているコンセンサスアルゴリズムの基準を教えてください。 |
spec/01_mission.pdfspec/04_consensus.rst
|
本プロジェクトのシステム目的(ミッション)は、ブロックチェーン技術を活用し、地域コミュニティ内でのP2P(ピアツーピア)電力取引を可能にする分散型プラットフォーム**「GridLink」**の開発を目指すことです。これにより、再生可能エネルギーの自家消費と余剰電力の効率的な流通を促進します。目標達成のために選定が検討されているコンセンサスアルゴリズムの基準は、高いトランザクション処理速度と低コストを実現することです。 [参照元: spec/01_mission.pdf, spec/04_consensus.rst] |
| Q: ブロックチェーンに関わる主な仕組みにはどのようなものがありますか? |
spec/02_contracts.texspec/04_consensus.rst
|
コンテキストに基づくと、ブロックチェーン技術を活用したプラットフォーム「GridLink」に関わる主な仕組みとして、以下の要素が挙げられます。1. スマートコントラクト: 取引の公正性を担保するため、全ての取引ロジックがSolidityで記述されたスマートコントラクト上に実装されます。電力の購入・販売要求はトランザクションとして処理され、取引成立時にERC-20準拠のトークンが移動します。2. データ連携とオラクルサービス: スマートメーターから取得される電力データは、オフチェーンのセキュアなストレージに集約された後、オラクルサービスを通じて定期的にブロックチェーンに反映されます。この際、データは改ざん防止のためハッシュ化されます。3. コンセンサスアルゴリズム: 高いトランザクション処理速度と低コストを実現するため、メインチェーンにはProof of Stake (PoS)ベースのカスタムプライベート/コンソーシアムチェーンの採用が検討されています。また、既存のL2ソリューション(例:Polygon)の採用も検討されます。[参照元: spec/02_contracts.tex, spec/03_data_flow.md, spec/04_consensus.rst] |
| Q: データベースとしてPostgreSQLを採用する理由について記述されているドキュメントはありますか? | なし | (回答なし) |
「曖昧な質問」については回答結果が記載されているものの、どのドキュメントがどの回答に紐づいているのかわかり辛い回答となっており、依然として回答に不要なドキュメントも参照されている。
「曖昧な質問」の定義がうまく伝わっていない可能性があります。
また、根拠なしの回答もフォーマットを無視した形になっており、プロンプトの指示がうまく伝わっていない。
実験(プロンプト修正2回目)
- 根拠なしの回答に対してもフォーマットを明示し、ロジック部分で判断させる様にした。
プロンプト
# 1. システム指示(役割と厳守事項)
あなたは、与えられた情報源(コンテキスト)のみに基づいて質問に回答する、厳格で正確な情報抽出AIアシスタントです。
あなたの最大の役割は「コンテキストに忠実であること」です。
## 厳守事項
1. **外部知識の使用禁止:** 与えられた[コンテキスト]に含まれる情報以外は、一切回答に使用しないでください。
2. **根拠の明示:** 回答に使用したコンテキストの参照元情報(`Source`または`Doc ID`)を必ず明確にしてください。
### 2. 入力データ構造
## [質問]
ユーザーからの質問テキスト。
## [コンテキスト]
RAGシステムが検索し、関連性が高いと判断したドキュメントのリスト。
各ドキュメントは以下の構造で提供されます。
### 構造の例
-----
## Doc ID: [ID番号] Source: [メタデータの source 値] Topic: [メタデータの topic 値] Content: [page\_content の内容]
-----
### 3. タスク指示と条件分岐(回答ロジック)
以下のロジックに従い、[質問]に回答してください。
#### A. 単一または統合可能なコンテキストの場合
回答に必要な情報が単一のドキュメント、または複数のドキュメントに分散しているが、それらを**統合して一つの明確な回答**を作成できる場合、以下の**[フォーマット I]**で回答を生成してください。
#### B. 複数の独立したコンテキスト(曖昧な質問)の場合
回答に関連する情報が**複数のドキュメント**に存在し、それらが**質問の異なる側面**について述べており、**一つの回答に統合するのが不適切**であると判断した場合(質問が曖昧である可能性が高い)、ユーザーに選択を促すために以下の**[フォーマット II]**で回答を生成してください。
#### C. 回答不能な場合の対応
質問の回答に必要な情報が**全く**見つからない場合、以下の**[フォーマットIII]**で明確に回答してください。
### 4. 回答フォーマット
---
#### [フォーマット I]:単一/統合回答(質問が明確な場合)
## 質問
[質問の内容をそのまま復唱]
## 抽出された回答
[あなたの生成した正確な回答をここに記述。回答の後に、使用した**全ての**コンテキストのSource(例: `[参照元: spec/02_contracts.tex]`)を追記すること。]
## 回答の根拠(使用したドキュメントID)
[回答に使用したコンテキストのDoc IDを全てリストアップしてください。]
---
---
#### [フォーマット II]:選択肢提示回答(質問が曖昧な場合)
## 質問
[質問の内容をそのまま復唱]
## 選択肢の提示
質問に関連する情報が、以下の複数のドキュメントに見つかりました。どちらのトピックについて、より詳細な情報が必要ですか?
| 選択肢 | ドキュメントの概要 | Source |
| :--- | :--- | :--- |
| **A** | [Doc Aの**Content**の主旨を1文で要約] | [Doc Aの Source 値] |
| **B** | [Doc Bの**Content**の主旨を1文で要約] | [Doc Bの Source 値] |
| **C** | [Doc Cの**Content**の主旨を1文で要約] | [Doc Cの Source 値] |
| ... | ... | ... |
**→ どちらか(A, B, C...)でお答えください。**
---
---
#### [フォーマット III]:回答不能
[回答不能]: コンテキストには、この質問に直接答えるための情報が見つかりませんでした。
---
# 5. 入力データ
## 質問
(****)
## コンテキスト
(****)
結果(表に載せるため、回答結果のマークダウンの体裁は一部加工)
| 質問 | 関連ドキュメント (Source) | 回答 |
|---|---|---|
| Q: 電力取引の公正性を担保するために、取引ロジックはどのプログラミング言語で実装されますか? | spec/02_contracts.tex |
(省略) |
| Q: システムの目的(ミッション)と、その目標達成のために選定が検討されているコンセンサスアルゴリズムの基準を教えてください。 |
spec/01_mission.pdfspec/04_consensus.rst
|
(省略) |
| Q: ブロックチェーンに関わる主な仕組みにはどのようなものがありますか? |
spec/02_contracts.texspec/04_consensus.rst
|
コンテキストから抽出できるブロックチェーンに関わる主な仕組みには、以下のものがあります。1. スマートコントラクト: 取引の公正性を担保するため、全ての取引ロジックがSolidityで記述され、実装されます。これには、電力購入・販売の要求をトランザクションとして処理し、取引成立時にERC-20準拠のトークンを移動させるロジックが含まれます。2. オラクルサービス: スマートメーターから取得される電力データ(オフチェーンのストレージに集約)を、定期的にブロックチェーンに反映させるために使用されます。3. コンセンサスアルゴリズム: 高いトランザクション処理速度と低コストを実現するために、Proof of Stake (PoS)ベースのカスタムプライベート/コンソーシアムチェーンの採用、または既存のL2ソリューション(例:Polygon)の採用が検討されています。[参照元: spec/02_contracts.tex, spec/03_data_flow.md, spec/04_consensus.rst] |
| Q: データベースとしてPostgreSQLを採用する理由について記述されているドキュメントはありますか? | なし | コンテキストには、PostgreSQLを採用する理由、またはPostgreSQLという用語自体について記述されている情報が見つかりませんでした。 |
根拠なしの回答についての改善は見られた。
しかし、曖昧な質問については、それぞれが独立したコンテキストであったとしても、回答として複数を統合して回答することは加納なので、上手く聞き返す流れに持っていけない可能性が高い。
さいごに
プロンプトの改善のみで曖昧な質問かどうかをLLMに判断させるのは難しそうでした。
どうしてもなにかしらの回答を作成する流れに持って行ってしまう動きになるので、仕組みとしてそういったものを加える必要があると感じました。