ChatGPTでGPT-4を試してみた

GPT-4 が2023/3/14 公開

OpenAIによって開発されたGPT-4 が2023年3月14日に公開されました。
有料版 ChatGPT Plus (USD $20/月)へアップグレードすることでGPT-4が利用可能になります。(3/26執筆時点)

GPT-4は次の機能が、GPT-3よりも強化されています。

• 高度な推理
• 複雑な指示
• より多くの創造性

以降はChatGPTにおけるGPT-４の具体的な始め方やGPT-3との違いなど、簡単にまとめたいと思います。

Release Notes (March 14)
We’re excited to bring GPT-4, our latest model, to our ChatGPT Plus subscribers.

GPT-4 has enhanced capabilities in:

• Advanced reasoning
• Complex instructions
• More creativity

To give every Plus subscriber a chance to try the model, we'll dynamically adjust the cap for GPT-4 usage based on demand. You can learn more about GPT-4 here.

For this release, there are no updates to free accounts.
引用 ChatGPT — Release Notes

引用 翻訳
ディープ ラーニングのスケールアップにおける OpenAI の取り組みにおける最新のマイルストーンである GPT-4 を作成しました。GPT-4 は大規模なマルチモーダル モデル (画像とテキストの入力を受け入れ、テキスト出力を発行する) であり、多くの現実世界のシナリオでは人間よりも能力が劣りますが、さまざまな専門的および学術的なベンチマークで人間レベルのパフォーマンスを示します。たとえば、模擬司法試験に受験者の上位 10% 程度のスコアで合格します。対照的に、GPT-3.5 のスコアは下位 10% 前後でした。 敵対的テスト プログラムと ChatGPT からの教訓を使用して、GPT-4 の調整を 6 か月繰り返し行った結果、事実性、操縦可能性、およびガードレールの外に出ることを拒否することに関して、これまでで最高の結果が得られました (完全にはほど遠いですが)。

We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks. For example, it passes a simulated bar exam with a score around the top 10% of test takers; in contrast, GPT-3.5’s score was around the bottom 10%. We’ve spent 6 months iteratively aligning GPT-4 using lessons from our adversarial testing program as well as ChatGPT, resulting in our best-ever results (though far from perfect) on factuality, steerability, and refusing to go outside of guardrails.
引用 https://openai.com/research/gpt-4

そもそもChat GPTとは?

ChatGPTに関する記事は、前回 の記事「ChatGPTを試してみた」をご参考ください。

"ChatGPTによる文書生成し引用"
「ChatGPTは、OpenAIが開発した自然言語処理の技術です。GPTは、「Generative Pre-trained Transformer」の略で、大量のテキストデータを学習し、人間のように文章を生成することができる言語モデルの一つです。
ChatGPTは、GPTをベースにして、会話形式の自然言語処理に特化した技術です。ChatGPTを使用すると、人間との会話において、自然で流暢な応答を生成することができます。ChatGPTは、音声アシスタントやチャットボット、顧客サポートなど、さまざまな応用分野で利用されています。
また、OpenAIは、ChatGPTを含む様々な自然言語処理技術を提供しており、AIが自然言語処理を行うことで、人間とのコミュニケーションを改善し、効率的な業務の実現や生活の利便性の向上など、様々な分野での利用が期待されています。」

GPT-4利用手順

警告
GPT-４の利用は現時点では有料の機能です。以降の手順では課金が発生しますので自己責任にて、よろしくお願いいたします。

1. ChatGPTにログイン
https://openai.com/blog/chatgpt
※事前にサインアップにてアカウント作成が必要です。未作成の方は、前回の記事「ChatGPTを試してみた」をご参考ください。

2. [UPgrade to Plus]をクリック

3.[Upgrade plan]をクリック

ChatGPT Plusとは
月額USD $20で以下の機能が利用可能となります。

• 需要が多い時期でも対応可能
• 応答速度の高速化
• 新機能への優先アクセス
  ※今回のようにGPT-4が先行で利用可能になるなど、メリットがあります。

4.支払いに利用するクレジットカード情報を登録し申し込みをクリック
※OpenAIの利用規約とプライバシーポリシーに同意が必要です。
※解約するまでの毎月、$20の金額が請求されます。
※いつでもキャンセルできます。

参考情報
以下はOpenAIの利用規約の一部ですが、本規約を遵守することを条件として、Outputに関するすべての権利、権原、及び利益はお客様に譲渡されるとのことです。

3. 内容
(a) お客様のコンテンツ。お客様は、サービスに入力を提供し (「入力」)、入力に基づいてサービスによって生成および返された出力を受け取ることができます (「出力」)。インプットとアウトプットはまとめて「コンテンツ」です。両当事者間で、適用法で許可されている範囲で、すべての入力はお客様が所有します。お客様が本規約を遵守することを条件として、OpenAI はここに、Output に関するすべての権利、権原、および利益をお客様に譲渡します。これは、本規約を遵守する限り、販売や出版などの商業目的を含むあらゆる目的でコンテンツを使用できることを意味します。 OpenAI は、コンテンツを使用して、サービスを提供および維持し、適用法を遵守し、当社のポリシーを施行する場合があります。お客様は、コンテンツが適用法または本規約に違反していないことを確認することを含め、コンテンツに対して責任を負います。

　3. Content
(a) Your Content. You may provide input to the Services (“Input”), and receive output generated and returned by the Services based on the Input (“Output”). Input and Output are collectively “Content.” As between the parties and to the extent permitted by applicable law, you own all Input. Subject to your compliance with these Terms, OpenAI hereby assigns to you all its right, title and interest in and to Output. This means you can use Content for any purpose, including commercial purposes such as sale or publication, if you comply with these Terms. OpenAI may use Content to provide and maintain the Services, comply with applicable law, and enforce our policies. You are responsible for Content, including for ensuring that it does not violate any applicable law or these Terms.

https://openai.com/policies/terms-of-use

支払い手続きが完了すると以下のキャプチャのとおり、
ChatGPT Plusにアップグレードされたメッセージが出力されます

GPT-4のModelが選択可能となっていることが確認できます。

警告
GPT-4 には現在、3 時間ごとに 25 件のメッセージの上限があります。需要に合わせて調整するため、上限が大幅に下がることが予想されます。

※執筆時点では、+ New Chat を開くたびにDefault(GPT3.5)になるようですので、GPT-4を利用時は都度選択が必要です。

Model比較

最低1点、最高5点評価基準にて、各Modelごとの性能を評価すると以下になります。

Model	推論	速度	簡潔	備考
Default(GPT-3.5)	3	5	2	速度が最適化されており、現在 Plus ユーザーが利用できます
Legacy(GPT3.5)	3	2	1	以前の ChatGPT Plus モデル
GPT-4	5	2	4	Plus加入者が利用できる最も高度なモデル。GPT-4 は、高度な推論、複雑な指示の理解、およびより多くの創造性を必要とするタスクに優れています。

画像入力も対応予定

警告
2023/3/26 執筆時点では、まだ画像入力は未対応です。先行でChatGPT PlusにてGPT-4 テキスト版がリリースされています。

ビジュアル入力
GPT-4 は、テキストと画像のプロンプトを受け入れることができます。これにより、テキストのみの設定と同様に、ユーザーは視覚または言語タスクを指定できます。 具体的には、散在するテキストと画像で構成される入力を指定して、テキスト出力 (自然言語、コードなど) を生成します。 テキストと写真を含むドキュメント、図、またはスクリーンショットを含むさまざまなドメインで、GPT-4 はテキストのみの入力の場合と同様の機能を発揮します。 さらに、テキストのみの言語モデル用に開発されたテスト時の手法 (少数ショットや思考連鎖プロンプトなど) を使用して拡張することもできます。 画像入力はまだ研究プレビューであり、公開されていません。

Visual inputs
GPT-4 can accept a prompt of text and images, which—parallel to the text-only setting—lets the user specify any vision or language task. Specifically, it generates text outputs (natural language, code, etc.) given inputs consisting of interspersed text and images. Over a range of domains—including documents with text and photographs, diagrams, or screenshots—GPT-4 exhibits similar capabilities as it does on text-only inputs. Furthermore, it can be augmented with test-time techniques that were developed for text-only language models, including few-shot and chain-of-thought prompting. Image inputs are still a research preview and not publicly available.
引用 https://openai.com/research/gpt-4

※例えば以下の画像を読み込ませると、どこがおかしいかを回答できるようになります。

出典:https://openai.com/research/gpt-4

ユーザー：この画像のどこがおかしいですか？パネルごとに説明します。

GPT-4：画像は、3 つのパネルを備えた「Lightning Cable」アダプターのパッケージを示しています。
パネル 1: 充電ポートに接続された VGA コネクタ (コンピュータ モニタに通常使用される大きな青色の 15 ピン コネクタ) を備えたスマートフォン。
パネル 2: VGA コネクタの絵が描かれた「Lightning Cable」アダプタのパッケージ。
パネル 3: 最後に小さな Lightning コネクタ (iPhone やその他の Apple デバイスの充電に使用) を備えた VGA コネクタのクローズアップ。
この画像のユーモアは、大きくて時代遅れの VGA コネクタを小さくて最新のスマートフォンの充電ポートに差し込むというばかげたことから来ています。

日本語認識能力が性能アップ

Multi-task Language Understanding 3ショットの正解率

以下japaneseの箇所となりますが、GPT-4では79.9%の精度となっており、GPT-3.5-English 70.1%を上回っています。
※GPT-4 Englishは85.5%と最も精度が高い結果となっています。

多くの既存の ML ベンチマークは英語で記述されています。他の言語での機能の最初の感覚を得るために、Azure Translate を使用して、MMLU ベンチマーク (57 の主題にわたる 14,000 の多肢選択問題のスイート) をさまざまな言語に翻訳しました (付録 を参照)。テストされた 26 の言語のうち 24 で、GPT-4 は、GPT-3.5 およびその他の LLM (チンチラ、PaLM) の英語のパフォーマンスを上回り、ラトビア語、ウェールズ語、スワヒリ語などのリソースの少ない言語を含みます。
Many existing ML benchmarks are written in English. To get an initial sense of capability in other languages, we translated the MMLU benchmark—a suite of 14,000 multiple-choice problems spanning 57 subjects—into a variety of languages using Azure Translate (see Appendix). In the 24 of 26 languages tested, GPT-4 outperforms the English-language performance of GPT-3.5 and other LLMs (Chinchilla, PaLM), including for low-resource languages such as Latvian, Welsh, and Swahili:

出典https://openai.com/research/gpt-4

GPT-3.5とGPT-4 回答の差異を確認

GPT-3とGPT-4の違いを比較表で出力してください。
(ver GPT-3.5)

※default GPT-3.5版は、回答作成までのスピードは一番早いですが、内容の正確性に問題があることが分かります。
例えば、GPT-3のパラメーター数は1.75兆もありません。1,750億です。 詳細は論文参照 https://arxiv.org/abs/2005.14165

(ver GPT-4)

ChatGPT Plus キャンセル方法概要

1. My Accountをクリックし、Managed my subscriptionをクリック

2. プランキャンセルをクリック

制限事項

制限事項
その機能にもかかわらず、GPT-4 には以前の GPT モデルと同様の制限があります。最も重要なことは、まだ完全に信頼できるわけではないことです (事実を「幻覚」にし、推論の誤りを犯します)。特定のユースケースのニーズに一致する正確なプロトコル (人間によるレビュー、追加のコンテキストによる根拠付け、またはリスクの高い使用を完全に回避するなど) を使用して、特にリスクの高いコンテキストで言語モデルの出力を使用する場合は、細心の注意を払う必要があります。 .

依然として現実的な問題ですが、GPT-4 は以前のモデルに比べて幻覚を大幅に減らします (反復ごとに改善されています)。GPT-4 は、内部の敵対的事実性評価で最新の GPT-3.5 よりも 40% 高いスコアを獲得しています。
Limitations
Despite its capabilities, GPT-4 has similar limitations as earlier GPT models. Most importantly, it still is not fully reliable (it “hallucinates” facts and makes reasoning errors). Great care should be taken when using language model outputs, particularly in high-stakes contexts, with the exact protocol (such as human review, grounding with additional context, or avoiding high-stakes uses altogether) matching the needs of a specific use-case.

While still a real issue, GPT-4 significantly reduces hallucinations relative to previous models (which have themselves been improving with each iteration). GPT-4 scores 40% higher than our latest GPT-3.5 on our internal adversarial factuality evaluations:
引用：https://openai.com/research/gpt-4

公式参考情報

GPT-4に関する公式情報は、以下のURLから参照できます。

• GPT-4の概要を簡潔に把握したい方は、こちらをご覧ください。
  https://openai.com/product/gpt-4

• GPT-4の詳細情報を確認したい方は、以下のリンクが役立ちます。

GPT-4の研究ページ: https://openai.com/research/gpt-4
GPT-4技術レポート: GPT-4 Technical Report

• その他の関連リンク:

ChatGPT — リリースノート
ChatGPT — Release Notes

ChatGPT Plus 有料サブスクリプションに関する情報
ChatGPT Plus

まとめ

GPT-4は、OpenAIのディープラーニングスケールアップの最新のマイルストーンとなっています。今後、さらなる進歩が期待されており、既に高い精度を持ち、有益なツールとして活躍しています。しかし、推論や正確性など、人間と同等のレベルに達するためには、まだ改善の余地が残されています。
今後、AIを活用した業務遂行が一般的になることが予想されます。業種によっては、ChatGPTのようなツールを導入し、社員の生産性を向上させる手段として検討を進めるのが適切な段階であると考えられます。
※Bing AIではすでにGPT-4が利用されているようですね。
https://blogs.bing.com/search/march_2023/Confirmed-the-new-Bing-runs-on-OpenAI%E2%80%99s-GPT-4