ChatGPT-3.5にどのプログラミング言語が自信があるか聞いてみた。

エンジニアの皆さんはChatGPTを大いに活用していると思います。

プログラミング言語は様々ありますが、どの言語に対してもそれなりの精度で返してくれるみたいので、いろいろ聞いてみました。

【質問】あなたはどのくらいのプログラミング言語に対応していますか？

私は現在、Python、Java、JavaScript、C++、Ruby、PHP、Go、
Swift、TypeScript、Kotlin、Rust、Scala、Perlなど、広範囲なプログラミング言語に対応しています。
ただし、常に新しいプログラミング言語やバージョンが登場しているため、
私が完全にサポートできるすべての言語については保証できません。
また、プログラミング言語以外のトピックについても知識を持っていますので、
様々な分野の質問に回答することができます。こ

これは、大体予想通りですね。
広範囲の言語に対応しており、バージョン更新等があればうまくいかないかもしれないとのこと。

【質問】これらの言語のうち、どのくらいの精度が出せるかをそれぞれ正解率のパーセンテージで示して。

私が提供する回答は、OpenAIが提供するGPT-3.5モデルの正確性に基づいたものです。
ただし、正確性は入力された質問に依存するため、回答の正確性については100％保証できません。
以下に、私が提供するプログラミング言語に関する正解率の一般的な範囲を示します。

- Python：90-95％
- Java：85-90％
- JavaScript：85-90％
- C++：80-85％
- Ruby：80-85％
- PHP：75-80％
- Go：75-80％
- Swift：70-75％
- TypeScript：70-75％
- Kotlin：65-70％
- Rust：65-70％
- Scala：60-65％
- Perl：60-65％

上記は一般的な範囲であり、質問の種類や入力の形式によって正解率は異なる可能性があります。
また、私は常に新しい情報やコンテキストにアップデートされるため、
より高い正解率を提供できるように努めています

これは、かなり面白い結果だと思います。Pythonは90-95％と唯一下限が90％超えている。JavaやJavaScript等もまあま高い一方、PerlやScalaが低い。

【質問】なぜPythonの正解率は90-95％と高く、ScalaやPerlは低いのですか？

私が提供する回答は、OpenAIが提供するGPT-3.5モデルの正確性に基づいたものです。
正解率は、そのプログラミング言語の知識がモデルによってどの程度カバーされているか、
およびそのプログラミング言語に関する一般的な質問がどの程度頻繁に行われているかによって異なります。以下に、Pythonの正解率が高い理由をいくつか挙げます。

- Pythonは人気が高く、広く使用されているプログラミング言語であり、開発者コミュニティも大きいため、多数の質問が投稿されています。
- Pythonは比較的簡単な文法を持ち、初心者にも学びやすい言語であるため、質問も多いです。
- Pythonはデータサイエンスや機械学習などの分野でも広く使用されているため、専門的な質問も多いです。

一方で、ScalaやPerlの正解率が低い理由としては、以下のような要因が挙げられます。

- ScalaやPerlは、比較的マイナーな言語であり、使用する開発者の数がPythonやJavaなどの主要言語に比べて少ないため、質問が少ない傾向があります。
- ScalaやPerlは比較的複雑な文法を持つため、解決すべき問題が難しくなることがあります。
- これらの言語に関する知識や質問は、GPT-3.5モデルがより強力にカバーできるようになる可能性があります。

とのことです。人気言語だと学習データも多いからという、少し考えればわかる単純な理由ですね。ということは、Go言語やTypeScriptも

ユーザーが増える
→ ユーザーがアウトプットを行う
→ ChatGPTの学習データが増える
→ 言語に対する精度が上がる
→ 学習しやすい環境ができる
→ さらにユーザーが増える

という好循環になるのでは？？

Pythonの正答率は本当に90-95％なのか？

ChatGPTによると、Pythonの正答率は90-95％とのこと。
しかし、これは以下の条件が整った上での質問だと思います。

質問の意図が明確
事前条件がプロンプトにきちんと整理されて記述している。
基礎的な文法を質問者が理解している

とこれらの条件が整った上で、90％以上の正答率を出せるかと思います。

【質問】ChatGPTでプログラミングに関する質問を行い、期待する解答に近づけるポイントを教えてください。

以下は、ChatGPTでプログラミングに関する質問を行い、期待する解答に近づけるポイントです。

1. 質問の明確化：質問をできるだけ明確かつ簡潔にすることが重要です。
   どのプログラミング言語に関する質問なのか、どのような問題が発生しているのか、期待される出力は何かなど、必要な情報を提供するようにしましょう。

2. 詳細な情報提供：プログラムの実行環境、使用しているライブラリやフレームワーク、
   エラーメッセージなど、質問に必要な情報を提供することが重要です。

3. エラーメッセージの添付：プログラミングにおいて、エラーメッセージは解決策を見つける上で非常に重要です。
   エラーメッセージがある場合は、それをできるだけ詳細に提供するようにしましょう。

4. 試したことの提供：すでに試した解決策やアプローチについて提供することで、
   ChatGPTはより適切な解決策を提供できる可能性があります。

5. 質問の適切な言葉選び：適切な用語を使用することで、ChatGPTはより正確な解答を提供できる
   可能性があります。したがって、専門用語や正式な用語を使用するようにしましょう。

6. 質問のコンテキストの提供：プログラミングに関する質問をする際は、そのプログラムの背景、
   そのプログラムがどのような目的で作成されたのか、そのプログラムがどのように機能するのかなどのコンテキストを提供すると、
   ChatGPTはより適切な解答を提供できる可能性があります。

以上のポイントを念頭に置いて、明確で詳細な質問を行うようにしてください。

とのことです。「質問の明確化」「詳細な情報提供」はプログラミングに限らず、すべての質問 （対人間にも） に対して気をつけたいところですね。

これからは、検索力＜質問力 の時代ですかね？？