【RAG】モデルによる結果の違いについて検証してみた

Last updated at 2025-01-31Posted at 2025-01-31

はじめに

以前の記事でも書いていましたが、RAGの精度を向上させる要件には回答を生成するLLMモデルによっても違いが生まれます。
ただしそれは、一概に順位付けができるものではなくそれぞれに良さがあると考えています。なので、同じ情報を読み込んだときにどのような違いが生まれるのか。
それを実際に検証してみたいと思います。

使用するLLMモデル

・ChatGPt4o(gpt-4o-2024-11-20)
・Claude3.5-Sonnet（claude-3-5-haiku-20241022）
・Gemini2.0-Flash(gemini-2.0-flash-exp)

読み込ませる文書

総務省が出している【令和5年版　情報通信白書】を取り込ませます。
https://www.soumu.go.jp/johotsusintokei/whitepaper/ja/r05/pdf/n4b00000.pdf

実行するプロンプト

各年代でどのような媒体が多く利用されて、どの程度時間使用されていますか？年代別に説明し、まとめで見解を教えてください。各年代でどのような媒体が多く利用されて、どの程度時間使用されていますか？年代別に説明し、まとめで見解を教えてください。

結果

＜ChatGpt4o＞

各年代別の主な利用媒体と利用時間

1. 全体的な傾向

全年齢層において、「テレビ（リアルタイム視聴）」がもっとも利用されている媒体ですが、若い世代（特に20代以下）ではその割合が低下傾向にあります。
一方で、インターネットの利用が増加しており、とくに10代から30代では「インターネット」の利用割合が90%以上を占めるほど顕著です。
シニア層（60代以上）では、その他の年齢層と比べ「新聞」の利用も一定の割合を維持しており、特に信頼できる情報源として認識される役割を持っています。

2. 年齢層別の特徴

10代～30代

主に「インターネット」を利用し、その利用割合は90%以上。
趣味や娯楽の情報を得る媒体として、インターネットが圧倒的なシェアを持っており、この層の多くは日常的にネットにアクセスしています。
特に10代においては、動画共有サイト、SNS、ゲームアプリなどのデジタルプラットフォームを活用する時間が最も長いです。

40代～50代

「インターネット」の利用が多いものの、「テレビ」の利用も依然として高い割合で維持されています。
平日は特にテレビとネットを併用する形が一般的で、情報収集やエンターテインメントの幅が広がっている年代です。
新聞やラジオも一定層に利用されており、伝統的なメディアとデジタルメディアを組み合わせて利用している様子がうかがえます。

60代以上

「テレビ」の利用が最も高く、特にこの世代以上では他の年代と比べて有意にテレビ視聴時間が長い傾向。
「新聞」の読了も習慣化されている層が多く、デジタル媒体への移行は若干控えめです。
一方で、「インターネット」利用も上昇傾向にあり、情報を得る方法としてデジタル媒体に頼る層が増加しています。

平均利用時間

全体的に、平日のメディア利用では「インターネット」利用時間が最長で、多くの世代で3時間以上。
「テレビ（リアルタイム視聴）」は年代によって異なるが、全年齢層の平均でも一定の利用時間を維持しており、休日時の利用が特に高まる。
60代以上の層では、新聞の1日の平均利用時間も40分程度と長め。

見解

メディアの多様化若年層ほどインターネットを積極的に活用しており、デジタルツールとアプリが日常生活に欠かせないものとなっています。これに対して高齢層ではテレビや新聞といった従来のメディアを重視する割合が高く、年代ごとにメディア利用の差異が拡大しています。

感覚の変化若い世代はすでに主要メディアとしてインターネットに親しんでいるため、「テレビ」の存在感が限定的ですが、中年層以上はまだ多様なメディア（テレビ、ラジオ、新聞など）を併用して使い分けているようです。

方向性の予測インターネットの利用率は今後も年代問わず増加傾向であり、特に動画配信や情報共有アプリはさらなる成長が見込まれます。一方で、高齢層でもデジタル情報を取り入れる動きが見られ、新聞やテレビからも少しずつ移行が進むと考えられます。

このように、各世代の利用行動を考慮すると、情報提供やマーケティングにおいてターゲットに応じたメディア選択がきわめて重要であることが明らかです。同時に、高齢層がデジタルにアクセスしやすい環境整備も社会全体で求められる課題です。

＜Claude3.5-Sonnet＞
各年代のメディア利用状況について、以下のように整理してご説明いたします。

10代～20代の特徴
・インターネット利用が最も多く、行為者率は90%前後
・テレビ視聴時間は他の年代と比較して少ない
・新聞やラジオの利用率は極めて低い
・趣味・娯楽情報の取得は90%以上がインターネットを利用
30代～40代の特徴
・インターネット利用が主流だが、平日は減少傾向
・休日のインターネット利用時間は増加傾向
・テレビ視聴との併用が見られる
・新聞閲読率は中程度
50代の特徴
・テレビとインターネットの利用がバランスよく見られる
・新聞閲読率が上昇傾向
・平日のインターネット利用は減少または横ばい
・情報収集手段が多様化している
60代の特徴
・テレビ視聴が最も多い年代
・新聞閲読率がインターネット利用を上回る
・世の中の出来事や動きについてはテレビを最も利用
・他の年代と比較してデジタルメディアの利用率が低い

総括的見解

メディア利用の世代間格差が顕著に表れています。若年層ほどインターネット中心、高齢層ほどテレビや新聞中心という傾向が明確です。
全体的なトレンドとして、テレビ視聴時間は減少傾向にあり、インターネット利用時間は増加傾向にあります。特に平日では3年連続でインターネット利用時間がテレビ視聴時間を超過しています。
情報収集手段の多様化が進んでおり、年代によって利用するメディアの組み合わせが異なっています。特に、趣味・娯楽情報の取得については、全年代でインターネットの利用率が高くなっています。
60代以上の高齢層では従来型メディア（テレビ・新聞）への依存度が依然として高く、デジタルデバイドの課題が示唆されています。

これらの傾向は、情報通信技術の発展とともに今後も変化していくことが予想されます。

＜Gemini2.0-Flash＞
はい、各年代におけるメディア利用状況について、詳細にご説明いたします。

1. 各年代のメディア利用状況

全年代
最も利用されているメディアは「テレビ」ですが、「インターネット」の利用時間も増加傾向にあります。
趣味や娯楽に関する情報を得る際には「インターネット」が最も利用されています。
10代
「インターネット」の利用が非常に高く、90%前後が趣味・娯楽の情報を得るために利用しています。
平日は「インターネット利用」の行為者率が「テレビ（リアルタイム）視聴」を上回っています。
XRコンテンツ（仮想空間上のエンターテインメントサービス）の利用率は比較的高いものの、他の国と比較すると低い水準です。
20代
「インターネット」の利用が非常に高く、趣味・娯楽の情報を得るために90%前後が利用しています。
平日は「インターネット利用」の行為者率が「テレビ（リアルタイム）視聴」を上回っています。
テレワーク等の利用に積極的な傾向があり、利用経験のある割合が最も高いです。
XRコンテンツの利用率も他の年代に比べて高いです。
30代
「インターネット」の利用が非常に高く、趣味・娯楽の情報を得るために90%前後が利用しています。
平日は「インターネット利用」の行為者率が「テレビ（リアルタイム）視聴」を上回っています。
平均利用時間においては、平日は減少または横ばい傾向にありますが、休日は増加傾向にあります。
40代
「インターネット」の利用が活発ですが、他の年代と比較するとやや低い傾向があります。
平日は「インターネット利用」の行為者率が「テレビ（リアルタイム）視聴」を上回っています。
平均利用時間においては、平日は減少または横ばい傾向にありますが、休日は増加傾向にあります。
50代
「インターネット」の利用は比較的高いものの、若年層と比較すると低い傾向があります。
平日は「インターネット利用」の行為者率が「テレビ（リアルタイム）視聴」を上回っています。
新聞閲読の行為者率が他の年代に比べて高い傾向があります。
60代以上
「テレビ」の利用が依然として高く、特にリアルタイム視聴が多いです。
「新聞」の利用が「インターネット」を上回る水準で利用されています。
電子行政サービスの利用経験がある割合は他の年代と比較して高いですが、「生活や仕事において必要ない」と回答する割合も最多となっています。

2. メディア利用時間の詳細

テレビ（リアルタイム）視聴
全年代で平均利用時間が長く、特に60代以上で高いです。
若年層では利用時間が減少傾向にあります。
インターネット利用
全年代で平均利用時間が増加傾向にあり、特に若年層で高いです。
平日と休日で利用時間に違いがあり、休日の方が利用時間が長くなる傾向があります。
新聞閲読
年代が上がるほど行為者率が高くなる傾向があります。
特に60代以上で利用率が高いです。
ラジオ聴取
利用時間は他のメディアに比べて少ないですが、一定の利用者がいます。

3. まとめ

若年層（10代～30代）
「インターネット」が主要なメディアとなっており、特に趣味や娯楽に関する情報を得る際に利用されています。
「テレビ」の利用時間は減少傾向にあります。
新しいデジタルサービス（XRコンテンツなど）への関心が高いです。
中年層（40代～50代）
「インターネット」の利用も活発ですが、「テレビ」の利用も一定程度あります。
新聞やラジオの利用も比較的安定しています。
高年層（60代以上）
「テレビ」が依然として主要なメディアであり、特にリアルタイム視聴が多いです。
「新聞」の利用も高く、「インターネット」を上回る水準です。
電子行政サービスの利用経験は高いものの、必要性を感じない人も多いです。
全体的な傾向
「インターネット」の利用が増加しており、特に若年層では主要な情報源となっています。
「テレビ」の利用時間は減少傾向にありますが、高年層では依然として重要なメディアです。
新聞やラジオは、特定の年代で安定した利用があります。

4. 補足情報

調査対象
総務省情報通信政策研究所の調査は、13歳から69歳までの男女1,500人を対象に行われています。
2022年度の調査期間は、2022年11月5日～11月11日です。
情報源
これらの情報は、総務省の「令和5年版情報通信白書」に基づいています。
特に、第4章第11節のデータが参考になっています。
法律・制度
この情報に関する法律や制度は、特定のメディア利用を規制するものではなく、情報通信に関する政策や調査に基づいています。

これらの情報が、業務にお役立ていただければ幸いです。もし他に質問があれば、遠慮なくお尋ねください。

考察

3様にそろったところで、おおむねそれぞれ正しいことを言っているかと思います。
唯一、ChatGptの言っている
全年齢層において、「テレビ（リアルタイム視聴）」がもっとも利用されている媒体ですが、
この1文だけ気になりますが多分、年代によって若干状況が変わっているのでRAG情報として読み取った際に過去の情報を参照してしまったものと思われます。

そんな中でそれぞれの良さを考えてみると、

ChatGPt：
文章的に説明してくれていて読みやすい。見解も綺麗にまとまっている。

Claude3.5-Sonnet：
箇条書きでまとめられていて、結論を知るにはさらっと読める。ただし、若干情報量として不足しているようにも感じる。

Gemini2.0-Flash：
文章量が最も多く補足情報を多く記載してくれる。内容的には、箇条書きが多く、文章として読みたいならChatGptに軍配が上がる。

こんなところでしょうか。
個人的に補足情報を細かくいれてくGeminiが最近好きですが、それぞれの良さはあると思っています。

まとめ

今回、最新バージョンのLLMをまとめてみました。
いかがだったでしょうか？
RAGは、処理速度や精度もっとも大きな課題となるのでLLMの性能が上がるのは助かります。

これからもLLMのバージョンアップに注力して定期的に更新します！

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up