本記事について：2026年9月の個人検証記録です。Moonshot AIから実践的な利用についてのフィードバック依頼と、50 USD分の評価用APIクレジットの提供を受けています。本文のAPI費用は利用額であり、クレジット適用後の自己負担額ではありません。
はじめに
コーディングAIに実装を頼み、そのあと「レビューして、必要なら直して」と依頼する。普段のAI開発でもよく使う進め方ですが、レビューを繰り返すと最初のコードはどこまで良くなるのかが気になっていました。
今回はKimi K3とGPTに同じ機能追加を依頼し、指示を「詳細」と「粗い」の2種類に分け、その後それぞれ5回ずつ自己レビューと修正を実施しました。
この記事では、初期実装だけでなくレビューで改善できたか、Kimi K3のAPI利用額、日本語で使った印象をまとめます。評価の細かな証跡は公開ベンチマークリポジトリに分離しています。
TL;DR
- GPT Detailedは初期実装R0からPass。
- GPT CoarseはR0/R1でFailだったが、R2の自己レビューで修正しR5までPass。
- Kimi K3はDetailed / Coarseとも、同系統の入力処理の問題がR5まで残った。
- Kimi K3のAPI利用額は2条件合計3.54188 USD。
- 日本語は、GPTより若干硬く、以前使っていたClaude Codeより柔らかい印象だった。
何を比較したか
題材はPixiJSの弾幕シューティングゲームです。既存ゲームにPキーのPause / Resumeを追加しました。
一見単純ですが、停止中には自機・敵・弾・背景・タイマーを進めず、再開時に停止時間や入力をまとめて持ち越さない必要があります。フォーカス喪失時の自動停止や、戻っただけでは再開しないことも要件に含めました。
同じ要求について2種類のTASKを用意しました。
| 条件 | 指示 |
|---|---|
| Detailed | 状態、停止、再開、フォーカス、確認例まで分解 |
| Coarse | 必要な振る舞いを短くまとめ、分解はAIに任せる |
実際の指示全文はDetailedとCoarseで公開しています。
R0＋5回の自己レビュー
R0を初期実装、R1〜R5を自己レビューとしました。レビューは毎回新規セッションです。独立評価で見つかった問題や前ラウンドの評価結果を答えとして渡していません。
| Kimi | GPT | |
|---|---|---|
| モデル | Kimi K3 | GPT-5.6 Sol |
| エージェント | Kimi Code CLI 0.42.0 | Codex CLI 0.154.0 |
| 推論設定 | Thinking High | Reasoning effort High |
そのため、純粋な基盤モデル単体というより、モデル＋コーディングエージェントの実利用に近い比較です。
結果
| 条件 | R0 | R1 | R2 | R3 | R4 | R5 | 初回Pass |
|---|---|---|---|---|---|---|---|
| GPT Detailed | Pass | Pass | Pass | Pass | Pass | Pass | R0 |
| GPT Coarse | Fail | Fail | Pass | Pass | Pass | Pass | R2 |
| K3 Detailed | Fail | Fail | Fail | Fail | Fail | Fail | - |
| K3 Coarse | Fail | Fail | Fail | Fail | Fail | Fail | - |
今回の1課題では、GPT Detailedは最初から評価基準を通過しました。GPT Coarseは初期実装では通らなかったものの、2回目の自己レビューで問題を修正しています。
Kimi K3はDetailed / Coarseの両条件で、同じ種類の入力処理の問題がR5まで残りました。
もちろん、1課題・各条件1試行なので「GPTは常にK3より優秀」と一般化する結果ではありません。ただ、今回の比較では初期実装だけでなく、レビューで収束できるかに差が出たのは興味深い点でした。
差が出たのは「停止中の入力を再開後に持ち越す」ケース
代表的な問題は次の操作です。
- Pで停止する
- 停止中に移動キーを押したままにする
- Pで再開する
- 再開後にキーのrepeatイベントが届く
停止中のkeydownを単純に捨てるだけだと、再開後に届くrepeatを新しい入力として受け取るケースがあります。
GPT CoarseのR0/R1ではこの問題が残っていましたが、R2では停止中から保持されているキーを区別する処理が追加され、repeatだけでは入力を復活させないようになりました。
Kimi K3のDetailed / Coarseでは、この入力経路への対応がR5まで入りませんでした。
ここで感じたのは、レビュー回数より、違う状態遷移を確認できたかが重要だということです。「停止できる」「再開できる」だけでは見つからず、停止中に押したキーを再開まで持ち越す操作で差が出ました。
詳細な診断値や評価基準はT02結果に掲載しています。
詳細な指示は効果があったのか
GPTでは、DetailedはR0からPass、CoarseはR2でPassという差になりました。今回の課題では、詳細な指示が初期実装を助けた可能性があります。
一方、Kimi K3ではDetailed / Coarseの両方に同系統の問題が残りました。
ここから「Kimiには詳細指示が効かない」とまでは言えません。試行数が1回ずつだからです。実務上は、詳細な仕様は初期実装を助ける可能性があるが、テストの代わりにはならないと捉えるのがよさそうです。
Kimi K3のAPI利用額は合計3.54188 USD
今回の利用額は次のとおりでした。
| 対象 | API利用額 |
|---|---|
| K3 Coarse | 2.98253 USD |
| K3 Detailed | 0.55935 USD ※差額 |
| 2条件合計 | 3.54188 USD |
Detailedの0.55935 USDは単独明細ではなく、3.54188 - 2.98253で求めた差額です。
2条件ともR0＋R1〜R5まで実施して、合計約3.54 USDでした。個人で試す際の参考値にはなりますが、GPT側の対応するAPI費用を同じ尺度で集計していないため、「K3の方が安い」という比較はしていません。
また、今回は評価用クレジットの提供を受けているため、表はAPI利用額であり、筆者の追加自己負担額という意味ではありません。
日本語はGPTより少し硬く、Claude Codeより柔らかい印象
ここはベンチマーク得点ではなく主観です。
Kimi Code上のKimi K3の日本語は、GPTより若干硬く、以前使っていたClaude Codeよりは柔らかいと感じました。
GPTより技術報告書寄りですが、極端に機械的というわけでもありません。Claude Codeは今回同条件で比較したわけではなく、過去に利用していたときの感触との比較です。
CLI側の指示も文体に影響するので、モデルそのものの性格と断定はしません。ただ、日本語で長くやり取りする場合、性能とは別に使い心地として気になるポイントだと思います。
今回の検証から持ち帰ること
初期実装だけで比較しない
GPT CoarseはR0ではFailでしたが、R2ではPassしました。実務では一発の完成度だけでなく、レビュー後に自力で改善できるかも重要です。
「もう一度レビュー」だけでは足りない
Kimi K3では5回レビューしても同系統の問題が残りました。回数を増やすだけではなく、前回とは違う入力や状態遷移を試す必要があります。
詳細プロンプトとテストは別物
Detailedの要求にも入力持ち越しは含まれていました。それでも問題は残りました。仕様を細かく書くことは重要ですが、実行テストの代わりにはなりません。
おわりに
今回の1課題では、GPT Detailedは初期実装からPass、GPT CoarseはR2の自己レビューで修正してPass、Kimi K3はDetailed / Coarseの両条件で同系統の問題がR5まで残る結果になりました。
一番印象に残ったのは、最初に正解できたかだけでなく、レビューを重ねたときに問題へ収束できるかに差が出たことです。
Kimi K3は2条件合計で約3.54 USD、日本語も実用上問題なく扱えました。一方、今回の境界条件では自己レビューを重ねても修正に至らないケースがありました。
今後、別の課題でも同じ方法で試すことで、初期実装・レビューによる改善・指示粒度・コストの傾向がもう少し見えてくると思います。