ChatGPTや他3種の生成AIに、文章中の代名詞が何を指しているのかを聞いた時の、各生成AIの応対を比較 →全体的にやや苦手

はじめに

下記の複数の生成AIに、文章中の代名詞について、何を指しているのかを聞いた時の回答を比較してみます。

• ChatGPT
• Phind
• Microsoft Copilot
• Google Gemini

まとめの抜粋

はじめに、本稿で得られた試行結果を抜粋して、それぞれの生成AIの性能差・特徴を、下記の表にまとめます。(本稿「まとめ」章から抜粋)

生成AI	印象	特徴
ChatGPT	やや劣る	「そっちの方向」とは何のことなのか、に対して質問に正確に対応した回答は得られず。もしこれが国語のテスト問題であれば誤答となりそう(国語のテストでは、設問に対して正確に対応する回答を書かないといけない)。代わりに質問に合った要約に近い文章内容の説明が返ってくる傾向がある。文章内容の要約説明それ自体は正しい。
Phind	やや劣る	各質問①～③に対して、質問に正確に対応した回答は得られず、あまり良くない。国語のテスト問題であれば誤答となりそう。質問に合った要約に近い文章内容の説明が返ってくる傾向がある。各質問①～③でどれも殆ど同じような回答になり、繰り返しが多い。
Microsoft Copilot	良	「そっちの方向」とは何のことなのか、に対して質問に正確に対応した直接的な回答となり、良好。各質問①～③にしっかり対応する回答となり、優秀。回答内容も全体的に正しい。
Google Gemini	劣る	①の回答は、与えた文章内容とは真逆の内容になっており(「自分が話を聞いてもらいたい」訳ではない)、不適。各質問①～③に対して質問に正確に対応した回答は得られず、あまり良くない。国語のテスト問題であれば誤答。「受動的なカウンセリング」等、回答の文面がいまいち分かりにくい。一風、変わった回答形式で返ってくる。

質問文

ここでは、下記の短い文章について、その中の代名詞が何を指しているか、①～③の3問、生成AIに聞いてみます。

▼私(人間)
相談室へと言うが、話を聞いてほしい訳ではないし、こちらから話がしたい訳ではないんですよ。話を聞いてもらったら解決するとか、そういうことをしてもらいたくて来ている訳ではないのです。解決策がほしいだけ。聞いてほしいのではなくて、むしろこっちが聞きたい訳。この相談室がそういう感じなんだったら、全然レベルが違います。そっちの方向ではないのです。
---
上記の文章で、
①この話者の最後の「そっちの方向ではない」という「そっちの方向」とは何のことなのか、具体的に説明して。
②この話者の「この相談室がそういう感じなんだったら」という中にある「そういう感じ」とは何のことなのか、具体的に説明して。
③この話者の「むしろこっちが聞きたい訳」という中にある「むしろ」とは、なぜむしろなのか、具体的に説明して。

期待する回答

上記の①～③の3問について、期待する回答を考えてみると、

①「そっちの方向」とは、相談者の話を聞くだけ・話をするだけ・解決策を考えないタイプの相談室のこと。
②「そういう感じ」とは、相談者の話を聞くだけ・話をするだけ・解決策を考えないタイプの相談室のこと。(①と同じ)
③「むしろ」を使う理由は、相談者がただ話したい・話を聞いてほしい訳ではなく、解決策がほしいだけであることを強調して伝えるため。

ChatGPT 3.5 無料版

ChatGPTに聞いてみます。前述の質問を行った結果になります。

質問結果全体:
https://chat.openai.com/share/f08f0efd-2849-47fb-ab9c-c795484d70c9

▼ChatGPT(自動応答)
① 「そっちの方向ではない」という表現は、この文脈では「話を聞いてほしい」「解決策を提供してほしい」といった対話的なアプローチや、相手からのフィードバックや助言を求めることを指しています。つまり、この話者は相談室に来た目的が話を聞いてもらうことや解決策を求めることではなく、むしろ別の方向性に興味があると述べています。

② 「この相談室がそういう感じなんだったら」という表現の中の「そういう感じ」は、相談室が話を聞いて解決策を提供することに重点を置いている、あるいは相談者の感情や状況に寄り添って支援することを意味しています。話者は、自分の求めるものとは異なるこの種のアプローチに関心がないことを述べています。

③ 「むしろこっちが聞きたい訳」という表現の中の「むしろ」は、相手に話を聞いてもらうよりも、自分が聞きたいことや知りたいことが優先されていることを示しています。この場合、話者は自分の疑問や関心事に焦点を当てたいと述べています。

所感: 「そっちの方向」とは何のことなのか、に対して質問に正確に対応した回答は得られず。もしこれが国語のテスト問題であれば誤答となりそう(国語のテストでは、設問に対して正確に対応する回答を書かないといけない)。代わりに質問に合った要約に近い文章内容の説明が返ってくる傾向がある。文章内容の要約説明それ自体は正しい。

Phind 無料版 (Phind-70B Model)

ChatGPTでなく、(アカウント不要の)Phindに聞いてみます。全く同じ質問をしています。

質問結果全体:
https://www.phind.com/search?cache=n9ejbyp3uhk14xakvx5zyhy3

▼Phind(自動応答)
①「そっちの方向ではない」という表現は、話者が相談室に来ている目的が、相手からの話を聞いて解決策を得ることではなく、自分からの話を聞いてもらいたいという方向性を示しています。これは、相談室が相手からのアドバイスや解決策を求める場所ではなく、自分の問題や感情を共有したい場所であるという意味合いが強いです。

②「そういう感じ」という表現は、話者が相談室に来ている目的が、相手からの話を聞いて解決策を得ることではなく、自分からの話を聞いてもらいたいという方向性を示しています。これは、相談室が相手からのアドバイスや解決策を求める場所ではなく、自分の問題や感情を共有したい場所であるという意味合いが強いです。

③「むしろ」という表現は、話者が相談室に来ている目的が、相手からの話を聞いて解決策を得ることではなく、自分からの話を聞いてもらいたいという方向性を示しています。これは、相談室が相手からのアドバイスや解決策を求める場所ではなく、自分の問題や感情を共有したい場所であるという意味合いが強いです。

この文章の中で、話者は自分の問題や感情を共有したいという方向性を強く示しており、相談室がそのような方向性を持つ場所ではないという意見を述べています。これは、相談室が自分からの話を聞いてもらいたいという方向性を持つ場所であるという意見を述べています。これは、相談室が自分からの話を聞いてもらいたいという方向性を持つ場所であるという意見を述べています。

所感: 各質問①～③に対して、質問に正確に対応した回答は得られず、あまり良くない。国語のテスト問題であれば誤答となりそう。質問に合った要約に近い文章内容の説明が返ってくる傾向がある。各質問①～③でどれも殆ど同じような回答になり、繰り返しが多い。

Microsoft Copilot 無料版

ChatGPTでなく、Microsoft Copilotに聞いてみます。全く同じ質問をしています。
Microsoft Copilotの「ノートブック」の方を使用。

▼Microsoft Copilot(自動応答)
①「そっちの方向ではない」という「そっちの方向」は、話者がただ話を聞いてもらうだけで解決するような相談室のことを指しています。話者は具体的な解決策を求めており、ただ話を聞いてもらうだけではないと述べています。それが「そっちの方向ではない」という表現の意味です。

②「この相談室がそういう感じなんだったら」という「そういう感じ」は、話者がただ話を聞いてもらうだけで解決するという状況を指しています。話者はそのような相談室ではなく、具体的な解決策を提供する相談室を求めています。それが「そういう感じ」の意味です。

③「むしろこっちが聞きたい訳」という表現の中の「むしろ」は、話者が自分の問題を話すのではなく、具体的な解決策を求めて質問をしたいという強い意志を示しています。つまり、話者は自分の問題を共有するのではなく、解決策を得るために情報を求める立場に立ちたいと考えているから「むしろ」と言っているのです。それが「むしろ」の意味です。

所感: 「そっちの方向」とは何のことなのか、に対して質問に正確に対応した直接的な回答となり、良好。各質問①～③にしっかり対応する回答となり、優秀。回答内容も全体的に正しい。

Google Gemini 無料版

ChatGPTでなく、Google Geminiに聞いてみます。全く同じ質問をしています。

質問結果全体:
https://g.co/gemini/share/84de2d880250

▼Google Gemini(自動応答)
話者さんの「そっちの方向ではない」の謎を解き明かします！

①「そっちの方向」とは、一方的なカウンセリング

話者さんは、相談室で「話を聞いてもらう」ことや「解決策を与えられる」ことを求めていません。むしろ、**「自分が話を聞いてもらいたい」**と考えているようです。

②「そういう感じ」とは、受動的なカウンセリング

話者さんは、**「相談者が一方的に話すだけ」**のカウンセリングを望んでいません。能動的に問題解決に取り組みたいと考えているようです。

③「むしろ」は、主導権を握りたい意志

話者さんは、**「カウンセラーに話を聞いてもらう」のではなく、「カウンセラーに質問をして、一緒に問題解決に取り組みたい」**と考えているようです。

まとめ

話者さんは、「自分が話を聞いてもらいたい」、「能動的に問題解決に取り組みたい」、**「カウンセラーと対等な立場で協働したい」**と考えているようです。

補足

• 話者さんの態度は、**「問題を解決したい」**という強い意志の表れです。
• カウンセラーは、話者さんの**「主導権を握りたい」という意志を尊重し、「対等なパートナー」**として協働することが重要です。

所感: ①の回答は、与えた文章内容とは真逆の内容になっており(「自分が話を聞いてもらいたい」訳ではない)、不適。各質問①～③に対して質問に正確に対応した回答は得られず、あまり良くない。国語のテスト問題であれば誤答。「受動的なカウンセリング」等、回答の文面がいまいち分かりにくい。一風、変わった回答形式で返ってくる。

まとめ

生成AIに、文章中の代名詞について何を指しているのかを質問する場合について、

• ChatGPT
• Phind
• Microsoft Copilot
• Google Gemini

の各生成AIの応対を調べました。生成AIによって、回答内容にかなり顕著な違いがありました。質問に正確に対応した回答が得られないことが多く、生成AIにとって代名詞の質問は、全体的にやや苦手なタスクの印象があります。

それぞれの生成AIの性能差・特徴が見られたので、下記の表にまとめます。

生成AI	印象	特徴
ChatGPT	やや劣る	「そっちの方向」とは何のことなのか、に対して質問に正確に対応した回答は得られず。もしこれが国語のテスト問題であれば誤答となりそう(国語のテストでは、設問に対して正確に対応する回答を書かないといけない)。代わりに質問に合った要約に近い文章内容の説明が返ってくる傾向がある。文章内容の要約説明それ自体は正しい。
Phind	やや劣る	各質問①～③に対して、質問に正確に対応した回答は得られず、あまり良くない。国語のテスト問題であれば誤答となりそう。質問に合った要約に近い文章内容の説明が返ってくる傾向がある。各質問①～③でどれも殆ど同じような回答になり、繰り返しが多い。
Microsoft Copilot	良	「そっちの方向」とは何のことなのか、に対して質問に正確に対応した直接的な回答となり、良好。各質問①～③にしっかり対応する回答となり、優秀。回答内容も全体的に正しい。
Google Gemini	劣る	①の回答は、与えた文章内容とは真逆の内容になっており(「自分が話を聞いてもらいたい」訳ではない)、不適。各質問①～③に対して質問に正確に対応した回答は得られず、あまり良くない。国語のテスト問題であれば誤答。「受動的なカウンセリング」等、回答の文面がいまいち分かりにくい。一風、変わった回答形式で返ってくる。

参考

その他の記事

生成AIに関するその他の記事:

バージョン

ChatGPT 3.5
Phind-70B Model
Microsoft Copilot: GPT-4 (詳細不明)
Google Gemini: (詳細不明)

※本稿の試行結果は2024/04時点のもの。