はじめに
この記事はChatGPT Advent Calendar 2024のシリーズ２の14日目の記事です。
ー
Advent Calendarの良いところとして、テーマが多岐にわたっており、知らなかったテーマを知ることができ、視野を広められるという点があると思っています。
今回は、完走賞のQiitanが欲しいというほかに、ChatGPTの能力ってどのくらいかを確認するという裏テーマの下、Advent Calendarに参加させてもらいましたので、ここにまとめておこうと思います。
ChatGPTの能力確認をしたAdvent Calendar
「esolang 」に今来た私が試したこと（ChatGPT先生と共に）
この記事ではBrainfuckの処理系のコード生成を試みました。人間にとっては解読が難しい言語の処理系も難なくChatGPTは生成してくることが確認できた。
「WebAssembly」に今来た私が試したこと（ChatGPT先生と共に）
ChatGPTは、WebAssemblyを生成する言語としてRustを選択してきた。
後述のように、ブラウザで表示させるプログラムと指定した場合には、HTML／Javascriptで生成するケースが多く、何も指定しない場合、Pythonで生成するケースが多い。
特にプログラミング言語を指定しない場合、ChatGPTは、文脈、場面に応じて適切な言語を選択して、プログラムを生成してくることが確認された。
この記事内では、量子コンピュータがビットコインを無効にするかという質問に対してChatGPTは一般的な答えの他に「マイニングのルールが崩れる」というWeb記事ではあまり指摘がないと思われる点も指摘していることが興味深い。
情報源があるか改めてChatGPTに尋ねてみたところあるとの回答だった。しかしルールが変わるという直接的記載は情報源にはないので、やはりChatGPTの推論能力によるところが大きいのではなかろうか。
「Koka」に今来た私が試したこと（ChatGPT先生と共に）
この記事では決してメジャーではない言語についてChatGPTに尋ねてみたものである。
難なく答えてくることが確認された。
「pyxel」に今来た私が試したこと（ChatGPT先生と共に）
この記事では、ChatGPTの、ざっくりとした課題から具体例を生成する能力、指定したライブラリ使用能力、指示に沿ったコードの改修能力を確認した。
この規模のアプリであればコーディングなしで完成させる能力が確認できた。
「サクラエディタ」に今来た私が試したこと（ChatGPT先生と共に）
サクラエディタのマクロというについてChatGPTに聞いてみた。そもそもサクラエディタのメニューの構成について実際には存在しないものを示すなどハルシネーションが発生した。
やはり学習がなされていないと思われる点については厳しいと感じられる例となった。
この記事ではChatGPTにクソアプリというChatGPTの規制にかかりそうなお題を依頼した。しかしChatGPTは規制することなくむしろ非常にウィットに富んだ回答をしてきており非常に興味深い結果となった。
この記事ではAPIを叩くコード、サンプルのJSONファイルの用意などもChatGPTが自動的に行ってくれることが確認できた
今Babylon.jsを知った私がChatGPT先生となにかを作ってみる
この記事ではブラウザで動作するアプリがChatGPTによって生成可能なことが確認できた。
この記事では条件を付してAPIを検索してもらったうえ、そのAPIを利用したサンプルコード出力してもらった。このように未知のAPIの探索にもChatGPTは有効であることが確認できた。
この記事ではChatGPTに提案してもらったコードスニペットを1つのプログラムにまとめて使ってもらうことが確認した。
この記事ではChatGPTにプログラムの動作の可視化、人間の立場からの把握の仕方を聞いてみた。
この記事はChatGPTの高度なプログラミング能力と競技プログラミングのルールとの関係を調査してみたものである。
この記事ではChatGPTのリンク先の提示能力をみることができた。
ChatGPTが１から作るとしたらどんな言語か聞いてみた（NOVA言語爆誕）
この記事ではChatGPTが新たな言語を作り出し、既存の言語との違いを述べることが確認できた。
非常にバランスの取れた言語を生成したことに驚いた。
「Nestjs」に今来た私が試したこと（ChatGPT先生と共に）
この記事ではChatGPTがトラブルシューティングに使えることが示された。
この記事ではChatGPT作のCPUの仕様書、アセンブラ、HDLコードを生成出来ることを確認できた。
ChatGPT先生にクソコードを生成してもらいお焚き上げしてもらう。
この記事ではChatGPTが有害な言葉を出さない制御がなされていること、単に避けるのではなくウィットに富んだ返しをしてくることが驚きであった。
「Hardware Description Language」に今来た私が試したこと（ChatGPT先生と共に）
この記事ではHDLのコードとともにテストベンチも合わせて生成出来ることを確認できた。
この記事ではChatGPTのCanva機能のより、難しいライセンス文書が分かりやすく示されることが、確認できた。
まとめ
一連の実験によりChatGPT 4oの現在の能力は既に私の能力を大幅に超えていることが分かった。
来年にはもはやコードを書かなくても手動で環境をととのえなくてもほしいプログラムが実行出来るようになっていると思われる。
以上、ChatGPT4oのコーディング力、検索力、Canvasなどを試してみた記録でした。
最後までご覧いただきありがとうございました。