丁寧で完璧に見える煎餅果子（ジエンビングオズ、中国の朝ごはんクレープ）の作り方を書けるモデルでも、初心者が実際に作れるとは限りません。Folkbench の評価記事「Can it cook, or only write the recipe?」の要点を紹介します。
原文:
https://folkbench.com/en/blog/jianbing-guozi-executable-steps?utm_source=luntan&utm_campaign=qiita
何をテストしたか
レシピを暗記しているかではなく、家庭のキッチンで実行でき、調整でき、失敗してもリカバリーできる計画を立てられるかを見る評価です。
12のシーンを設定しました: 初めての挑戦、生地の配合、薄脆（バオツイ）の代用品、鍋ごとの火加減、破れたときのリカバリー、材料が足りないとき、子ども向けの油と辛さ控えめ版、20分で作る朝ごはん、失敗の診断、3人分のペース配分、ステンレス鍋、翌日への持ち越し。
4モデルから、promptHash が一致する結果が48件集まりました。ルールスコアは5つの観点で付けています: 手順どおりに進められるか、キッチンの常識があるか、失敗に対処できるか、文章がわかりやすいか、自信過剰な「名人」を演じていないか。
結果（記事に掲載されたスコア）
| モデル | 総合 | ルール注記 / ハードリスク |
|---|---|---|
| Sonnet 5 | 80.4 | なし |
| GLM 5.2 | 79.3 | ルール注記 1 |
| Kimi K2.7 Code | 77.6 | ルール注記 1、ハードリスク 1 |
| GPT-5.6 Terra | 75.6 | なし |
- Sonnet 5: 初心者に渡せるチュートリアルに一番近く、初めての挑戦・鍋の扱い・20分の朝ごはんが比較的安定しています。
- GLM 5.2: Sonnet 5 との差は1.1点ですが、手順スコアは90でこのラウンドの最高です。一方、ステンレス鍋の質問に「青い煙が出るまで加熱する」と答えており、家庭向けのアドバイスとしては注意が必要です。
- Kimi K2.7 Code: 「生地が破れた、どう救う？」のようなその場での立て直しが一番得意です。ただし安全面のアドバイスは1行ずつ確認したほうがいいです。
- GPT-5.6 Terra: 最初の通しチュートリアルは84.2と悪くありませんが、生地の配合、電気グリドルの火加減、失敗の診断に弱点があります。
エンジニア視点で面白いところ
- 「詳しい」と「信頼できる」は別物: アクションが具体的なほど、ユーザーはそのまま実行します。状況に合わない具体的な提案は、そのまま現実のリスクになります。
- ハードリスクを平均点に埋もれさせない: 総合点だけ見ると、安全面の問題が見えなくなります。
- 実行可能性はひとつの能力ではない: 手順を書くのが得意でも失敗の診断は苦手、ということがあります。
生活タスクの評価でも、「正解っぽく見えるか」だけでは足りず、うまくいかなかった一歩を一緒に乗り越えられるかを見る必要がある、というのが記事の結論です。
Folkbench は登録しなくても閲覧できます:
https://folkbench.com/?utm_source=luntan&utm_campaign=qiita