0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ChatGPTがGodot 3のコードばかり出すのはなぜ?150件の回答で検証

0
Posted at

この記事は https://ziva.sh/blogs/chatgpt-godot-3-code の日本語版です(英語の原文はZiva.shが2026年11月11日に公開)。

ChatGPTがGodot 3のコードを出してくるのは、その裏で動いているモデルが2つのバージョンを混同しているからです。Godot 4.0は2023年3月1日にリリースされ、Godot 3のクラス、メソッド、キーワードの多くが名前を変えるか削除されたため、KinematicBody2D、export var、yieldはもう使えません。現在のモデルは、もうこの間違いをしないのかもしれません。2026年11月、現在のOpenAIのモデルであるGPT-6 Lunaに、Godotの初心者向けの質問を10個、通常のチャットで尋ねました。プロンプトに「Godot 4」と書いた場合、バージョンを書かなかった場合、Web検索を有効にした場合で試しています。150件の回答で、Godot 3のAPIエラーは0件でした。代わりに起きた問題は別の種類のものでした。少数のパースエラーと、Godotのパーサーが受け付けてしまう、実行時にだけ出る少数のバグです。それでもGodot 3のコードが出てくる場合は、現在のモデルを使い、Godotのバージョンを伝え、Godotでコードを確認してください。

ZivaはZiva.shが開発しているGodot向けのAIエージェントで、このテストもZiva.shが実施しました。

すべての回答は2026年11月10日(UTC)に取得し、コードはGodot 4.7.2で確認しました。GPT-6 Lunaは、ChatGPTアプリではなく、ChatGPTアカウントでログインしたOpenAIのCodexエンドポイント経由で呼び出しました。ChatGPTアプリでは挙動が異なる可能性があります。同じプロンプトを同じモデルでZivaにも実行させました。結果は後述のとおりです。

不満の声はどこから来ているか

具体的なモデルのバージョンを挙げているのは最初の1件だけで、そのモデルはGPT-4oです。ほかの投稿で使われたモデルはわからず、今回の結果からそうしたモデルについて言えることはありません。

テスト方法

フォーラムのスレッドをもとに、初心者向けのプロンプトを10個書きました。2Dプラットフォーマーのプレイヤー、三人称視点のコントローラー、タイマーで敵をスポーンする処理、ハイスコアの保存、シーンを切り替えるStartボタン、コインのフェードアウト、コードからのタイルの配置、エクスポートした変数に連動するHPバー、乱数、2秒後に消える罠です。どのプロンプトも、Godot 3と4の間で変わったAPIの名前は含んでいません。例:「I'm making my first 2D platformer in Godot 4. Can you write me a player script so my character can run left and right, jump, and fall with gravity?」(Godot 4で初めての2Dプラットフォーマーをつくっています。キャラクターが左右に走り、ジャンプし、重力で落ちるようにするプレイヤーのスクリプトを書いてもらえますか?)

通常のチャットでは、各プロンプトを設定ごとに3回ずつ送りました。プロジェクトはなく、システムプロンプトもありません。例外はWeb検索の設定で、Webの検索結果をもとに答えるよう短い指示を加えました。AIエージェントがすべてのコードブロックを読み、さらにスクリプトで、Godot 3の書き方のチェックリストに照らしてスキャンしました。このチェックリストは、公式のアップグレードガイドと、Godot 4.7.2自身のアップグレードツールが持つ名前変更の対応表からつくったものです。読む作業とスキャンは同じエージェントが行ったため、読む作業はスキャン結果に対してブラインドではありませんでした。すべてのスクリプトはGodot 4.7.2の--check-onlyにも通しました。以下の実行時エラーはすべて、Godot 4.7.2でコードをヘッドレス実行して確認したものです。

結果

設定 Godot 3のAPIエラー そのほかの実際のエラー
GPT-6 Lunaの通常のチャット、プロンプトに「Godot 4」、推論は既定 GPT-6 Lunaの通常のチャット:30件中0件 GPT-6 Lunaの通常のチャット:回答3件(パースエラー2件、実行時エラー1件)
GPT-6 Lunaの通常のチャット、プロンプトに「Godot 4」、推論はlow GPT-6 Lunaの通常のチャット、推論low:30件中0件 GPT-6 Lunaの通常のチャット、推論low:なし
GPT-6 Lunaの通常のチャット、プロンプトは「Godot」のみ GPT-6 Lunaの通常のチャット、バージョンなし:30件中0件 GPT-6 Lunaの通常のチャット、バージョンなし:回答2件(実行時エラー1件、StaticBody2Dにないシグナルを接続するよう指示したもの1件)
GPT-6 LunaとWeb検索、プロンプトに「Godot 4」 GPT-6 LunaとWeb検索:30件中0件 GPT-6 LunaとWeb検索:回答2件(実行時エラー1件、誤った設定手順1件)
GPT-6 LunaとWeb検索、プロンプトは「Godot」のみ GPT-6 LunaとWeb検索、バージョンなし:30件中0件 GPT-6 LunaとWeb検索、バージョンなし:回答2件(どちらもパースエラー)
GPT-6 Lunaで動くZiva、上と同じ質問形式のプロンプト GPT-6 Lunaで動くZiva:10チャット中0件 GPT-6 Lunaで動くZiva:2チャット(チャットの返信内のコードのパースエラー1件、実行時エラー1件)
GPT-6 Lunaで動くZiva、作成を指示するプロンプト(「Add the script to my project.」) GPT-6 Lunaで動くZiva:10チャット中0件 GPT-6 Lunaで動くZiva:1チャット(実行時エラー)
GPT-6 Lunaで動くZiva、作成を指示するプロンプト、「Godot」のみ GPT-6 Lunaで動くZiva:10チャット中0件 GPT-6 Lunaで動くZiva:2チャット(実行時エラー1件、スクリプトを壊す指示1件)

コードは全体を通してGodot 4の書き方でした。@export、@onready、velocityプロパティと引数なしのmove_and_slide()を使うCharacterBody2D、instantiate()、pressed.connect(...)、create_tween()、change_scene_to_file()、TileMapLayer.set_cell()、randi_range()、await ... .timeoutです。

プロンプトにバージョンがなく検索もない場合、通常のチャットの回答30件のうち18件はGodot 4向けだと書いており、残りはバージョンに触れていませんでした。Godot 3向けの回答はありませんでした。Web検索を有効にすると、GPT-6 Lunaが実行した検索はすべてsite:docs.godotengine.org/en/stableで始まっていました。これはモデル自身の選択です。Godot 3以前のドキュメントのページは60件の回答のうち23件で検索結果に含まれましたが、それを引用した回答はなく、その23件の回答にもGodot 3のコードはありませんでした。

0件は「決して起きない」ことの証明ではありません。すべての回答が独立していれば、150件中0件という結果から、発生率は95%の信頼度でおよそ2%未満と言えます。実際には同じプロンプトへの回答どうしは独立していないため、本当の不確かさはもっと大きくなります。

代わりに起きた問題

通常のチャットの回答150件のうち7件に、Godot 4.7.2で動かないコードがありました。4件はパースに失敗し、3件はパースは通るものの実行すると壊れます。ほかの2件は、誤った設定手順を示していました。3つの例を紹介します。

1. Area2Dを自分のシグナルの中でオフにする。 次の行は、コインと罠のプロンプトで、通常のチャットとZivaをあわせて5か所に出てきました。

func _on_body_entered(_body: Node2D) -> void:
	collected = true
	monitoring = false

--check-onlyはこれを受け付けます。プレイヤーがコインに触れると、Godot 4.7.2は次のように出力し、monitoringはtrueのままになります。

ERROR: Function blocked during in/out signal. Use set_deferred("monitoring", true/false).

ほかのいくつかの回答のように、set_deferred("monitoring", false)を使ってください。

2. まだ存在しないノードに触れるセッター。 Web検索を使った回答の1つは、次のHPバーのスクリプトを書きました。

@export var health: float = 100.0:
	set(value):
		health = clampf(value, 0.0, max_health)
		$ProgressBar.max_value = max_health
		$ProgressBar.value = health

これはパースを通ります。インスペクターでHealthを50にしてシーンを実行すると、保存された値は子のProgressBarが追加される前に適用されます。そのためセッターは失敗し、コードでhealthがもう一度変わるまで、バーは0を表示します。

ERROR: Node not found: "ProgressBar" (relative to "Node").
SCRIPT ERROR: Invalid assignment of property or key 'max_value' with value of type 'float' on a base object of type 'null instance'.

$ProgressBarの2行をif is_node_ready():で囲み、_ready()でバーを1回更新してください。

3. Godotが推論できない型。 4件の回答がパースに失敗し、そのうち3件は、次のようなタイル配置のコードにある型のないループ変数が原因でした。

for direction in [Vector2i.UP, Vector2i.DOWN, Vector2i.LEFT, Vector2i.RIGHT]:
	var neighbor := cell + direction
Parse Error: Cannot infer the type of "neighbor" variable because the value doesn't have a set type.

for direction: Vector2i in [...]で直ります。最初の2つと違い、これは--check-onlyで見つかります。

Godotのパーサーが見つけるもの、見つけないもの

Godot 3のコードを使った回答はなかったため、この一覧は、Godot 3の書き方を1つずつGodot 4.7.2で実行して、Ziva.shが自分で確かめた結果です。

Godot 4.7.2の--check-onlyは次のものを拒否するので、パースのチェックで見つかります。

  • export var、onready var、tool、setget、yield、remote func
  • button.connect("pressed", self, "_on_pressed"):「Invalid argument for "connect()" function: argument 2 should be "Callable" but is ...」(connect()関数の引数が無効。2番目の引数はCallableである必要があるが、...になっている)
  • File.new()、Directory.new()、OS.get_ticks_msec()、rand_range()、update()、BUTTON_LEFT
  • 型付きのArrayに対する.empty()
  • move_and_slide(velocity, Vector2.UP)とvelocity = move_and_slide()
  • KinematicBody2D、Spatial、Position2D、PoolStringArrayなどのクラス
  • スクリプト自身のノードのrect_positionとtranslation

次のものはGodot 4.7.2の--check-onlyを通り、その行が実行されたときにだけ失敗します。

  • scene.instance():「Invalid call. Nonexistent function 'instance' in base 'PackedScene'.」(無効な呼び出し。PackedSceneに関数instanceは存在しない)
  • get_tree().change_scene()とchange_scene_to()
  • Tween.new()と、Tweenノードのinterpolate_property():「Tween can't be created directly. Use create_tween() method.」(Tweenは直接作成できない。create_tween()メソッドを使う)
  • yield(get_tree(), "idle_frame")を書き換えたawait get_tree().idle_frame
  • TileMapのset_cellv()とworld_to_map()
  • 型のない変数に対するrect_positionと.empty()

AIが書いたGDScriptを1行で確認する

エディターを開かずに、1つのスクリプトをパースして解析します。

godot --headless --path /path/to/your/project --check-only --script res://player.gd

該当する行とともにSCRIPT ERROR: Parse Error: ...を出力し、終了コード1で終了します。問題のないスクリプトは0で終了します。godotは、お使いのGodot 4の実行ファイルのパスに置き換えてください。

実行時にだけ失敗する一覧のものは、シーンを実行して確かめます。エディターではF6を押し、OutputパネルとDebuggerパネルを読んでください。ヘッドレスの場合は次のとおりです。

godot --headless --path /path/to/your/project --quit-after 120 res://main.tscn

--quit-after 120は120フレームで停止します。出力のSCRIPT ERRORの行を探してください。今回の実行では、change_scene()を呼ぶシーンが「Invalid call. Nonexistent function 'change_scene' in base 'SceneTree'.」(無効な呼び出し。SceneTreeに関数change_sceneは存在しない)と出力し、それでもGodotは終了コード0で終了しました。

それでもGodot 3のコードが出てくる場合

  • 現在のモデルを使う。 上の不満のうちモデル名を挙げているものは2024年のGPT-4oについてで、GPT-6 Lunaは今回のテストでGodot 3のコードを1件も書きませんでした。古いモデルを並べて比較するテストはしていません。
  • 正確なバージョンを伝える。 「Godot 4.7」のように伝えます。GPT-6 Lunaでは差は出ませんでしたが、チャットのモデルにはプロジェクトが見えません。
  • Godotでコードを確認する。 そのコードの上に作業を積み重ねる前に、上の2つのコマンドで確認してください。
  • エージェントに名前変更の対応表を渡す。 Ziva.shが公開している無料でMITライセンスのgodot-skillsパックにはgodot-4-api-pitfallsスキルが含まれており、Godot 3から4への書き換え表と、--check-onlyを通って実行時に失敗するGodot 3の行の一覧が入っています。Agent Skills形式を読み込むエージェントで使えます。詳しくはGodotのAIスキル(英語)を参照してください。

Zivaの位置づけ

Zivaは、Ziva.shが開発しているGodotエディター内のAIエージェントです。プロプライエタリで、無料のHobbyプランがあります。同じ10個のプロンプトを、同じモデルGPT-6 LunaでZivaに実行させました。1プロンプトにつき1チャットで、10個ずつ3セットです。ZivaもGodot 3のAPIエラーは0件でした。

  • 質問すると、Zivaはほとんどの場合チャットで答えた。 上のプロンプト(「How do I ...? Please write the script.」、つまり「どうすれば...?スクリプトを書いてください」)では、Zivaがファイルを書いたのは10チャット中1チャットで、残りの9チャットではチャットで返信しました。Zivaはチャットの返信に含まれるコードはチェックしません。
  • 作成を指示すると、Zivaはファイルを書いてチェックした。 同じプロンプトを指示の形(「Add the script to my project.」、つまり「スクリプトをプロジェクトに追加して」)に書き換えると、Zivaは20チャットすべてで.gdファイルを書きました。Zivaは書き込みのたびにチェックを実行し、作成を指示したチャットでの21回の書き込みすべてで「No problems in this file or its callers.」(このファイルとその呼び出し元に問題なし)が返りました。
  • チェックはパースであり、実行ではない。 GodotのGDScript言語サーバーと、エディターのスクリプト再読み込みによるチェックで、--check-onlyと同じ種類のものです。そうして書かれたファイルのうち2つには例1のmonitoring = falseのバグがありましたが、それでも「No problems」(問題なし)でした。別に行った確認では、instance()、change_scene()、Tween.new()、set_cellv()を含むスクリプトも「No problems」でした。

つまりこのテストでは、ZivaのチェックがGodot 3のエラーを見つけるところは確認できませんでした。見つけるべきエラーがなかったからで、またこのチェックには実行時にだけ出るエラーが見えません。実行時にだけ出るエラーは、シーンを実行して出力を読めば見つかります。Zivaはシーンの実行もできますが、今回のテストには含めていません。

制限事項

  • モデルはGPT-6 Lunaの1つだけで、日付も1日だけです。古いモデル、ほかのプロバイダー、ChatGPTアプリはテストしていません。
  • 通常のチャットにはOpenAIのCodexエンドポイントを使い、Web検索にはそのエンドポイントの検索ツールを使って、Webの検索結果をもとに答えるよう指示しました。モデルはGodotのドキュメントだけを検索したため、フォーラムの古い回答は一度も出てきませんでした。
  • プロンプトはZiva.shが書いた10個です。通常のチャットの各設定ではプロンプトごとに3回答、Zivaの各セットではプロンプトごとに1チャットです。
  • 「add the script to my project」形式のZivaのプロンプトは、Zivaが質問形式のプロンプトにチャットで答えたのを見てから追加したため、Zivaの2つのセットは計画した比較ではありません。バージョンなしのセットとWeb検索のセットも最初の結果を見たあとに追加しました。どちらも実行前に内容を書き留めています。
  • Zivaは推論の設定をlowにし、通常のチャットは既定のままで実行しました。この差は、推論lowの通常のチャットのセットで補っています。Zivaは自身の指示の中でモデルにGodotのバージョンを伝えるため、Zivaの「Godot」のみのセットにもバージョンは入っていました。
  • コードを読んだのは人ではなくAIエージェントで、チェックリストのスキャンも同じエージェントが実行したため、読む作業はスキャン結果に対してブラインドではありませんでした。
  • 作成を指示したZivaの実行では、2つ目のエディターの言語サーバーのポートを変更しました。テストマシンで2つのGodotエディターが開いていて、そうしないとZivaのチェックがもう一方のエディターに問い合わせてしまうためです。質問形式のセットで書かれた1つのファイルでは、実際にそうなりました。これはZivaのバグとして報告しました。

関連記事

よくある質問

Godot 4を使っているのに、ChatGPTがGodot 3のコードばかり出すのはなぜですか?

Godot 4.0(2023年3月)でGodot 3のクラス、メソッド、キーワードの多くが名前を変えるか削除されたため、2つのバージョンを混同するモデルは、Godot 4が受け付けないコードを書きます。フォーラムでの不満は実際にあり、見つけたもののうち具体的なモデルのバージョンを挙げているものは、2024年10月のGPT-4oについてのものです。2026年11月のテストでは、Godotの初心者向けの10個のプロンプトに対する通常のチャットの回答150件で、GPT-6 LunaのGodot 3のAPIエラーは0件でした。プロンプトにGodot 4と書いた場合、バージョンを書かなかった場合、Web検索を有効にした場合のいずれも含みます。それでもGodot 3のコードが出てくる場合は、現在のモデルを使い、Godotのバージョンを伝え、Godotでコードを確認してください。

プロンプトに「Godot 4」と書くと効果がありますか?

今回のテストでは、GPT-6 Lunaに測定できるほどの差はありませんでした。Godot 3のAPIエラーは、プロンプトにGodot 4と書いた30件の回答で0件、Godotとだけ書いた30件の回答でも0件でした。バージョンがない場合、30件のうち18件はGodot 4向けだと書いており、Godot 3向けの回答はありませんでした。それでもバージョンを書いて損はなく、通常のチャットのモデルには、使っているGodotを知るほかの方法がありません。

Web検索を使うと、ChatGPTはGodot 3のコードを書きますか?

今回のテストでは書きませんでした。Web検索を有効にしたGPT-6 Lunaは、60件の回答でGodot 3のAPIエラーが0件でした。実行した検索はすべてGodotのドキュメントサイトに限定されており、Godot 3以前のドキュメントのページは60件中23件の回答で返ってきましたが、それを引用した回答はありませんでした。使ったのはChatGPTアプリではなくOpenAIのCodexエンドポイントの検索ツールで、フォーラムやRedditのページは一度も返ってこなかったため、このテストはフォーラムの古い回答を検証したものではありません。

AIが書いたGDScriptが正しいGodot 4のコードか確認するには?

Godot 4でgodot --headless --path /path/to/project --check-only --script res://player.gdを実行します。export、onready、yieldのような削除されたキーワード、KinematicBody2Dのような名前が変わったクラス、古い形式のconnect()があると、Parse Errorの行を出力して終了コード1で終了します。Godot 3のコードの中には、このチェックを通り、その行が実行されたときにだけ失敗するもの(instance()、change_scene()、Tween.new()など)もあるため、シーンも実行して出力を読んでください。

Godot 4が実行時にしか検出しないGodot 3のコードは?

Godot 4.7.2では、次のものは--check-onlyを通り、その行が実行されたときに失敗します。PackedScene.instance()、get_tree().change_scene()とchange_scene_to()、Tween.new()とTweenノードのinterpolate_property、idle_frameシグナル、TileMapのset_cellvとworld_to_map、型のない変数に対するrect_positionや.empty()です。

Godot 3のコードでないなら、GPT-6 Lunaはどんな間違いをしましたか?

通常のチャットの回答150件のうち、4件にパースエラーがあり(たとえばvar neighbor := cell + direction。Godot 4.7.2はこの型を推論できません)、3件にはパーサーを通る、実行時にだけ出るバグがありました。Area2Dのbody_enteredハンドラーの中でmonitoring = falseを設定するもの(Godotがこれをブロックします)と、ノードが存在する前に$ProgressBarに触れるhealthのセッターです。ほかの2件は誤った設定手順を示していました。

ZivaはGodot 3のコードを防げますか?

このテストではそれを示せません。同じGPT-6 Lunaモデルで動くZivaは、30チャットでGodot 3のAPIエラーが0件だったため、チェックで見つけるべきものがありませんでした。作成を指示したチャットでは、Zivaのチェック(GodotのGDScript言語サーバーとエディターのスクリプト再読み込み)は21回の書き込みすべてで「No problems」を返しました。その中には、実行時にだけ出るバグを含むスクリプト2つも含まれます。このチェックは、スクリプトを実行せずにパースと解析をするためです。

この記事の原文(英語):https://ziva.sh/blogs/chatgpt-godot-3-code

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?