0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

MLflow GUIで始めるプロンプト改善 #4-2:生成・検査・修正の責務を分離する(またも失敗)

0
Posted at

はじめに、

この記事は、chatgpt workを使って基本自動生成しています。
その上で不足記事を追加・修正した上で、動作確認を行っています。

この企画はもともと公式のMLFlowのチュートリアルがちょっとイケてなかったので、chatgpt workを使ってもっと簡単なチュートリアルを作成出来るか検証してみようと思い立ったところから開始しました。

そしてせっかくやるなら面白いテーマでやろうと思い、「生成AIで面白いなろう系小説第一話を書けるのか?」
という実験も兼ねています。

前回までの振り返り

第一回目は、まずは荒いプロンプトで実行、トレース出来るところまで確認しました。

第二回目は、まずは荒い評価基準を導入し、出力した第一話を評価出来るところまで確認しました。

第二の一回目は、急遽評価基準の精度を改善することにしました。
ここがかなり試行錯誤した上で、ようやく及第点(今のところ)の評価基準精度になりました。

第三回目は、改善したプロンプトを作成し、

第四回目は、バージョン毎のプロンプト精度の比較をしてみました。

第四の一回目は、プロンプトを修正し出力の仕方をかなり調整しましたが失敗に終わりました。

今回もトライアンドエラーを何度か繰り返しました。

過剰制約と検査器の誤判定により品質が低下しました。
特に全文検査の指摘を無条件で修正へ流した結果がこのていたらく

制約を増やすほど品質が落ちていた

実測は明確です。
二段階Control:Quality 3.208
状態管理Candidate:Quality 2.833
emotional_credibility:3.00 → 2.33
opening_engagement:3.33 → 2.67
episode_role_fulfillment:3.33 → 2.67
agency_level:4.33 → 3.00
設定遵守は改善しましたが、創作に必要な自由度まで削っています。
これは「制約がまだ足りない」のではなく、制約を生成Promptへ載せすぎた状態

今回も失敗の記録です


MLflow GUIで始めるプロンプト改善 #4-2:生成・検査・修正の責務を分離する

STEP4-1では、構成を作ってから4場面を個別生成することで、平均5,865文字を達成しました。しかしQuality平均は3点台前半のままで、文字数が増えても人物造形や感情は改善しませんでした。

そこでEpisode Contract、Story State、全文検査、自動修正を追加しましたが、Qualityは3.208から2.833へ低下しました。検査器が4場面しかない本文へ場面5、6の違反を返し、その指摘を無条件で修正へ渡した結果、28文字しかない場面も生まれました。

STEP4-2では、前回のCandidateを細かく修正しません。生成、検査、修正の責務を分け、まず生成構造だけを再検証します。

今回のゴール

  • STEP4-1の二段階PipelineをControlとして固定する
  • LLMが推測したEpisode Contractを廃止する
  • 入力から決定的にEpisode Boundaryを作る
  • 人物の望み、恐れ、選択、理由、代償を構成へ持たせる
  • Story Stateを次場面に必要な5項目へ減らす
  • 全文検査と自動修正を外した状態で品質を比較する
  • RequirementとQualityを分けて採否を判断する

1. なぜ部分修正ではなく責務を分けるのか

STEP4-1の状態管理Candidateには、次の異なる処理が同居していました。

  1. 第一話の契約をLLMで作る
  2. 契約から構成を作る
  3. 場面ごとに本文を書く
  4. Story Stateを抽出する
  5. 全文を検査する
  6. 違反と判断した場面を生成し直す

最終本文だけを評価すると、構成が悪かったのか、本文生成が悪かったのか、検査器の誤判定なのか、修正器が壊したのかを区別できません。

さらに、LLMが作った契約には入力にない内容と内部矛盾がありました。例えば「能力を理解し始める」をmust_happenへ入れながら、能力を理解する描写を検査器が違反と判定しました。推測で作った契約を正解として後段へ渡す構造自体が不安定です。

そこでSTEP4-2では、品質改善の効果を測れる最小構成へ戻します。

2. 残すものと外すもの

処理 STEP4-1 STEP4-2
4場面への分割 残す 残す
場面別本文生成 残す 残す
Episode Contract LLMが生成 廃止
Episode Boundary なし コードで構築
Story State 多項目 5項目だけ
全文検査 LLM 今回は外す
自動修正 違反場面を再生成 今回は外す
Quality Judge 評価と修正理由が混在 比較評価だけ

自動修正を外すのは後退ではありません。生成改善と修正処理の影響を分けるためです。まず生成だけで品質が上がるか確認し、検査と修正はJudgeを校正してから別の実験として追加します。

3. Episode Boundaryをコードで作る

入力から決定できる情報を、LLMへ再解釈させずに再配置します。

def build_episode_boundary(story):
    return {
        "immutable_facts": {
            "genre": story["genre"],
            "protagonist": story["protagonist"],
            "ability": story["ability"],
            "world": story["world"],
        },
        "episode_role": story["episode_role"],
        "episode_intent": story["episode_intent"],
        "allowed_end_state": story["episode_goal"],
        "future_plot_to_preserve": story["future_plot"],
    }

この関数は「能力をどこまで理解してよいか」「誰と出会うべきか」を推測しません。入力事実、第一話の到達点、将来へ残す展開だけを保持します。

allowed_end_stateは第一話が到達してよい最大地点です。future_plot_to_preserveは第一話で完了させてはいけない展開です。この二つの境界を、構成と全場面へ同じJSONで渡します。

4. 人物の選択を構成の中心にする

STEP4-1の二段階Pipelineは、各場面に目的、対立、行動、変化を持たせました。これにより行動量は増えましたが、characterizationとemotional_credibilityは3.0のままでした。

STEP4-2では、行動数を増やす代わりに、各場面へ次を持たせます。

{
  "scene_role": "最初の失敗",
  "protagonist_wants": "...",
  "protagonist_fears": "...",
  "external_pressure": "...",
  "choice": "...",
  "reason_for_choice": "...",
  "cost": "...",
  "observable_emotional_change": "...",
  "unresolved_consequence": "..."
}

第一話全体にはcentral_choiceを一つだけ持たせます。4場面が別々の問題を解決するのではなく、一つの重要な選択へ向かう構造です。

5. Story Stateを最小化する

前回は、場所、経過時間、既知情報、関係変化、能力使用、解決済み問題、未解決問題、変更禁止事項などをState抽出器へ持たせました。項目が多いほど安全になるとは限りません。LLMが事実を要約・言い換えするたびに欠落や追加が起きます。

STEP4-2で次場面へ渡すStateは5項目だけです。

{
  "established_facts": [],
  "protagonist_current_goal": "...",
  "protagonist_current_emotion": "...",
  "open_loops": [],
  "last_scene_result": "..."
}

主人公、能力、世界観、第一話の境界はStateへ複製せず、コードで作ったEpisode Boundaryを毎回直接渡します。

6. Promptを登録する

STEP4-2では3種類だけを登録します。

step04-2-narou-character-outline/1
step04-2-narou-character-scene/1
step04-2-narou-minimal-state/1

stepタグへ4-2、pipelineタグへresponsibility-splitを設定しました。STEP4-1のPromptは削除せず、失敗構造をTraceとともに残します。

7. 同じ3企画で生成する

Candidateの文字数は次のとおりです。

企画 合計文字数 場面ごとの文字数
異世界転生 5,607 1,493 / 1,247 / 1,392 / 1,469
異世界追放 5,503 1,224 / 1,346 / 1,390 / 1,537
悪役令嬢転生 5,867 1,391 / 1,563 / 1,511 / 1,396
平均 5,659 -

3件とも4,500〜8,000文字です。自動追補と自動修正を使わなくても、4場面の分割だけで文字数Requirementを維持できました。

8. MLflowでControlと比較する

STEP4-1の二段階本文をControlとして再利用し、同じEvaluation runへ6件を記録しました。JudgeはSTEP2-1で校正した定義から変更していません。

Evaluation run IDは次のとおりです。

1c2f5c729d3b4c8da45a01452a52b1e4

MLflowでSTEP4-2のEvaluation runを開く

STEP4-2のEvaluation run

9. Requirementは改善した

Requirement Control STEP4-2
4,500文字以上 3/3 3/3
8,000文字以内 3/3 3/3
空回答でない 3/3 3/3
能力要件 3/3 3/3
設定整合性 2/3 3/3
先取り抑制 2/3 3/3

決定的なBoundaryを全場面へ渡したCandidateは、設定整合性と先取り抑制を3/3へ戻しました。LLMが自由生成した契約を使わなくても、入力のepisode_goalとfuture_plotを明確に分けるだけで境界を守れています。

10. Qualityは改善しなかった

Quality Control STEP4-2
characterization 3.00 3.00
emotional_credibility 3.00 3.00
reader_momentum 3.00 3.33
opening_engagement 3.33 2.67
scene_execution 3.33 3.00
information_control 3.67 3.00
episode_role_fulfillment 3.00 3.00
narrative_coherence 3.33 3.00
Quality平均 3.208 3.000

狙った3項目のうち、reader_momentumだけが0.33上がりました。characterizationとemotional_credibilityは変わりません。一方、冒頭、場面実行、情報制御、整合した展開が低下しています。

構成JSONへ望み、恐れ、選択、理由、代償を書かせても、それだけで本文中の人物描写が深くなるわけではありません。モデルは項目を満たす出来事を配置しますが、主人公固有の経験から生まれる判断や、選択前後の感情の蓄積までは十分に作れていません。

また、異世界転生のcentral_choiceは「壊れた道具を修理するか」でした。これはfuture_plot_to_preserveの冒頭と近く、境界は守れても新鮮な第一話の中心選択にはなっていません。悪役令嬢も「感情を解読する」と決意しており、入力能力をそのまま行動目標へ変換しています。

11. 採用判断

採用条件は、全Requirement 3/3に加え、人物造形・感情・次話への推進力の改善、Quality平均でControl比+0.3以上でした。

STEP4-2はRequirementをすべて満たしましたが、Quality平均が0.208下がっています。そのため採用しません。

ただし、今回の結果から二つを分けて判断できます。

  • 決定的なEpisode Boundaryは、仕様遵守の構造として有効
  • 人物中心の項目を構成JSONへ追加するだけでは、創作品質は改善しない

次の実験で再利用する価値があるのはEpisode Boundaryです。人物品質については、構成項目の追加ではなく、参考本文や人が評価した良い場面との比較、具体的な文章上の差分へ進む必要があります。

まとめ

STEP4-2では、STEP4-1で混在していた生成、検査、修正を分離しました。LLM生成の契約、自動検査、自動修正を外し、コードで作るEpisode Boundary、人物中心構成、最小Story Stateだけを試しました。

平均5,659文字で、文字数、能力、設定整合性、先取り抑制はすべて3/3です。仕様遵守は改善しました。

一方、Quality平均は3.208から3.000へ低下しました。reader_momentumは改善しましたが、人物造形と感情は3.0のままです。制約項目を構成へ増やすことと、読者が人物を魅力的に感じる本文を書くことは別の問題でした。

STEP4-2のCandidateは不採用です。ただし、決定的なEpisode Boundaryは今後の基盤候補として残します。次は構造項目を増やすのではなく、良い本文との比較から、主人公固有の判断、会話の含意、感情の蓄積を本文レベルで改善するか4-3としてトライしてみます。

参考資料

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?