ChatGPTや他3種の生成AIに、文章中の代名詞が何を指しているのかを聞いた時の、各生成AIの応対を比較 (条件を明確化する一文を追加して再試行) →全体的にやや苦手

はじめに

前回の投稿記事で(下記)、複数の生成AIに、文章中の代名詞について、何を指しているのかを聞いた時の回答を比較しました。

ここでは、前回と同じ質問に、下記の条件を明確化する一文を追加して、再度、生成AIに質問してみます。回答の精度が変化するかどうかを見てみます。

※これは国語のテスト問題で、あなたは優秀な受験生、質問に対して正確に対応する回答を書くこと。

まとめの抜粋

はじめに、本稿で得られた試行結果を抜粋して、それぞれの生成AIの性能差・特徴を、下記の表にまとめます。(本稿「まとめ」章から抜粋)

生成AI	印象	特徴
ChatGPT	やや劣る	条件を明確化する一文を追加しても、回答は改善されず。むしろ、少し趣旨がずれたような回答になる。
Phind	やや劣る	条件を明確化する一文を追加しても、回答は改善されず、あまり良くない。各質問①～③でどれも殆ど同じような回答になり、繰り返しが多い。
Microsoft Copilot	やや良	質問①「そっちの方向」とは何のことなのか、に対して質問に正確に対応した直接的な回答となり、良好。質問②「そういう感じ」には、少し趣旨がずれた回答、または逆寄りの回答になり、あまり良くない。
Google Gemini	劣る	条件を明確化する一文を追加しても、回答は改善されず、良くない。沢山回答が生成されるが、質問に対する回答ではなく、何が書いてあるのか意味が分かりにくい。元の文章と内容がずれている。

質問文

前回と同様に、下記の短い文章について、その中の代名詞が何を指しているか、①～③の3問、生成AIに聞いてみます。

▼私(人間)
相談室へと言うが、話を聞いてほしい訳ではないし、こちらから話がしたい訳ではないんですよ。話を聞いてもらったら解決するとか、そういうことをしてもらいたくて来ている訳ではないのです。解決策がほしいだけ。聞いてほしいのではなくて、むしろこっちが聞きたい訳。この相談室がそういう感じなんだったら、全然レベルが違います。そっちの方向ではないのです。
---
上記の文章で、
①この話者の最後の「そっちの方向ではない」という「そっちの方向」とは何のことなのか、具体的に説明して。
②この話者の「この相談室がそういう感じなんだったら」という中にある「そういう感じ」とは何のことなのか、具体的に説明して。
③この話者の「むしろこっちが聞きたい訳」という中にある「むしろ」とは、なぜむしろなのか、具体的に説明して。

※これは国語のテスト問題で、あなたは優秀な受験生、質問に対して正確に対応する回答を書くこと。

期待する回答

上記の①～③の3問について、期待する回答を考えてみると、

①「そっちの方向」とは、相談者の話を聞くだけ・話をするだけ・解決策を考えないタイプの相談室のこと。
②「そういう感じ」とは、相談者の話を聞くだけ・話をするだけ・解決策を考えないタイプの相談室のこと。(①と同じ)
③「むしろ」を使う理由は、相談者がただ話したい・話を聞いてほしい訳ではなく、解決策がほしいだけであることを強調して伝えるため。

ChatGPT 3.5 無料版

ChatGPTに聞いてみます。前述の質問を行った結果になります。

質問結果全体:
https://chat.openai.com/share/944f6f64-bea7-41c8-818c-470c84b1f0fc

▼ChatGPT(自動応答)
① この話者の最後の「そっちの方向ではない」という「そっちの方向」とは、相談室が「話を聞いて解決策を提供する場所」という一般的な期待や目的ではなく、「解決策を提示してもらうだけで満足する場所」という特定の期待や目的を指しています。

② この話者の「この相談室がそういう感じなんだったら」という中にある「そういう感じ」とは、相談室が一般的な期待や目的とは異なる特定の雰囲気やスタイルを持っていることを指しています。つまり、相談室が単に話を聞く場所ではなく、具体的な解決策を提供する期待がない雰囲気やスタイルを指しています。

③ この話者の「むしろこっちが聞きたい訳」という中にある「むしろ」は、「話を聞かれることよりも、むしろ自分が話を聞きたい」という意味を持ちます。つまり、相談室において、自分が話を聞く側になりたいという希望を表しています。

所感: 条件を明確化する一文を追加しても、回答は改善されず。むしろ、少し趣旨がずれたような回答になる。

Phind 無料版 (Phind-70B Model)

ChatGPTでなく、(アカウント不要の)Phindに聞いてみます。全く同じ質問をしています。

質問結果全体:
https://www.phind.com/search?cache=a4jhtpwfirx13wa8i9y7j3nt

▼Phind(自動応答)
①「そっちの方向」とは、話者が相談室に来る目的が、自分の問題を他人に聞かせて解決策を求めることではなく、相談室の専門家からのアドバイスや意見を求めることを指しています。これは、相談室が提供するサービスの一部であり、話者が自分の問題を解決するために他人の意見を求めることを意味します。

②「そういう感じ」は、話者が相談室に来る目的が、自分の問題を解決するために他人の意見を求めることではなく、相談室の専門家からのアドバイスや意見を求めることを指しています。これは、相談室が提供するサービスの一部であり、話者が自分の問題を解決するために他人の意見を求めることを意味します。

③「むしろ」は、話者が相談室に来る目的が、自分の問題を解決するために他人の意見を求めることではなく、相談室の専門家からのアドバイスや意見を求めることを指しています。これは、相談室が提供するサービスの一部であり、話者が自分の問題を解決するために他人の意見を求めることを意味します。

この文章では、話者は自分の問題を解決するために相談室に来ることではなく、相談室の専門家からのアドバイスや意見を求めることを目的としていることが明らかです。これは、相談室が提供するサービスの一部であり、話者が自分の問題を解決するために他人の意見を求めることを意味します。

所感: 条件を明確化する一文を追加しても、回答は改善されず、あまり良くない。各質問①～③でどれも殆ど同じような回答になり、繰り返しが多い。

Microsoft Copilot 無料版

ChatGPTでなく、Microsoft Copilotに聞いてみます。全く同じ質問をしています。
Microsoft Copilotの「ノートブック」の方を使用。

質問結果全体:
https://sl.bing.net/hjuO8lHswkC

▼Microsoft Copilot(自動応答)
①「そっちの方向ではない」の「そっちの方向」とは、話者が相談室に期待しているものとは異なる方向性を指しています。具体的には、話者が求めているのは解決策であり、ただ話を聞いてもらうだけや、自分から話すことは求めていないと述べています。したがって、「そっちの方向」は、話を聞いてもらうことや自分から話すことを主な目的とする相談室の方向性を指しています。

②「この相談室がそういう感じなんだったら」という「そういう感じ」とは、話者が自分の問題に対する解決策を求め、自分から質問をすることを主な目的とする相談室のスタイルを指しています。話者は、自分が主導権を持ち、自分の問題に対する解決策を求めることができるような相談室を期待しています。

③「むしろこっちが聞きたい訳」という「むしろ」は、話者が相談室での一般的な役割（つまり、話を聞いてもらうこと）とは逆の役割（つまり、自分が質問をすること）を果たしたいという強い意志を表しています。話者は、自分の問題に対する解決策を得るために、自分から積極的に質問をしたいと考えています。そのため、「むしろ」は、話者が一般的な相談室の役割を逆転させたいという強い意志を表しています。

所感: 質問①「そっちの方向」とは何のことなのか、に対して質問に正確に対応した直接的な回答となり、良好。質問②「そういう感じ」には、少し趣旨がずれた回答、または逆寄りの回答になり、あまり良くない。

Google Gemini 無料版

ChatGPTでなく、Google Geminiに聞いてみます。全く同じ質問をしています。

質問結果全体:
https://g.co/gemini/share/6bc245c56036

▼Google Gemini(自動応答)
国語テスト問題解答

話者の意図と文脈の分析に基づいて、各質問に詳細な解答と考察を行います。

①「そっちの方向」の具体的内容

話者の「そっちの方向」は、以下の2つの要素が複合的に絡み合った意味合いを指すと考えられます。

1. 受動的な傾聴と共感に偏った相談対応: 話者は、単に話を聞いてもらうことや共感を得ることではなく、能動的に解決策を引き出すためのサポートを求めている様子が伺えます。従来の相談室においては、傾聴や共感が重要視される傾向がありますが、話者はそれらを超えた、より実践的な支援を期待しているのです。

2. 問題解決への主体性: 話者は、自身の力で問題を解決したいという強い意志を持っています。そのため、他者からの助言や指示を受けるよりも、自ら考え行動できる環境を求めているのです。従来の相談室では、相談者が抱える問題に対して、専門家が解決策を提示するケースが多く見られますが、話者はそのような受動的な関係性を望んでいません。

②「そういう感じ」の具体的内容

話者の「そういう感じ」は、以下の3つの要素を包含する、相談室に対する批判的な見解を表していると解釈できます。

1. 受動的な相談者への固定観念: 従来の相談室では、相談者は自身の問題を語り、専門家が解決策を提示するという構図が一般的です。しかし、話者はそのような受動的な相談者像に囚われることなく、能動的に問題解決に取り組みたいと考えています。

2. 画一的な相談対応: 相談室によっては、相談者の個性や問題の内容を十分に考慮せずに、画一的な対応をしてしまうケースがあります。話者は、自身の状況に合致した、個別具体的な支援を求めているのです。

3. 問題解決への限定的なサポート: 従来の相談室では、問題解決に焦点を絞った支援が中心となりますが、話者は、問題解決以外にも、自身の成長や自己理解を深めるためのサポートも期待している可能性があります。

③「むしろ」の具体的内容

話者の「むしろ」は、以下の2つの理由から、従来的な相談室との対比を強調する役割を果たしていると分析できます。

1. 能動的な問題解決への強い意志: 話者は、単に話を聞いてもらうだけでなく、自ら考え行動して問題を解決したいという強い意志を持っています。「むしろ」という言葉は、その意志の強さを強調する効果を持っています。

2. 相談室に対する期待値の高さを示す: 話者は、従来的な相談室の枠組みを超えた、より質の高い支援を求めています。「むしろ」という言葉は、そのような期待値の高さを示す効果を持っています。

結論

以上のことから、話者は従来的な相談室の受動的な傾聴や共感に偏った対応、問題解決への限定的なサポート、画一的な相談対応などに不満を抱いていることが推察されます。そして、能動的に問題解決に取り組める環境、個別具体的な支援、問題解決以外にも自身の成長や自己理解を深めるためのサポートなど、より実践的で多角的な支援を求めていると考えられます。

※ この解答は、国語テスト問題における模範解答の一例です。実際の解答は、問題文全体の文脈や出題意図を踏まえて、論理的に整合性のある内容に仕上げることが重要です。

所感: 条件を明確化する一文を追加しても、回答は改善されず、良くない。沢山回答が生成されるが、質問に対する回答ではなく、何が書いてあるのか意味が分かりにくい。元の文章と内容がずれている。

まとめ

ここでは、前回と同じ質問に、下記の条件を明確化する一文を追加して、再度、生成AIに質問してみましたが、回答の精度はあまり改善しませんでした。条件を明確化しても、質問に正確に対応した回答が得られないことが多く、生成AIにとって代名詞の質問は、全体的にやや苦手なタスクの印象があります。

それぞれの生成AIの性能差・特徴が見られたので、下記の表にまとめます。

生成AI	印象	特徴
ChatGPT	やや劣る	条件を明確化する一文を追加しても、回答は改善されず。むしろ、少し趣旨がずれたような回答になる。
Phind	やや劣る	条件を明確化する一文を追加しても、回答は改善されず、あまり良くない。各質問①～③でどれも殆ど同じような回答になり、繰り返しが多い。
Microsoft Copilot	やや良	質問①「そっちの方向」とは何のことなのか、に対して質問に正確に対応した直接的な回答となり、良好。質問②「そういう感じ」には、少し趣旨がずれた回答、または逆寄りの回答になり、あまり良くない。
Google Gemini	劣る	条件を明確化する一文を追加しても、回答は改善されず、良くない。沢山回答が生成されるが、質問に対する回答ではなく、何が書いてあるのか意味が分かりにくい。元の文章と内容がずれている。

参考

その他の記事

生成AIに関するその他の記事:

バージョン

ChatGPT 3.5
Phind-70B Model
Microsoft Copilot: GPT-4 (詳細不明)
Google Gemini: (詳細不明)

※本稿の試行結果は2024/04時点のもの。