Towards Zero-Shot Persona Dialogue Generation with In-Context Learning

1. どんなもの？

   プロンプト（In-Context Persona Prompting、Context）とPersona Dialogue Pre-training（PDP）データセットを使って事前学習されたモデルを組み合わせて、ペルソナ対話が可能な手法を提案している。

2. 先行研究と比べて何がすごい？

   従来の手法は、人手で注釈された高品質なペルソナデータセットの収集が高コストであり、未知のペルソナ属性に対応できない

   本研究は、インコンテキストプロンプトと事前学習済みの対話モデルを組み合わせることで、一貫したペルソナ対話を実現している。

3. 技術や手法のキモは？
   

   • embeddingについて
     • TransformerのEmbedding構成は通常TokenとPositionだが、それに加えて、
     • Type Embedding（ユーザープロファイル、ボットプロファイル、コンテキスト、応答）
     • Role Embedding（話者：ユーザー・ボット）を追加してモデルにどのタイプの話をしているのか、ユーザーかボットの認識をさせるためにこの二つを用意している
   • Persona Dialogue Pre-training（PDP）データセット(テキストは対話セッションの形式に処理されている**)
   • このデータセットを使ってprefix lmモデルで事前学習している。

- In-Context Persona Prompting
    - ペルソナ情報（名前・年齢・性別など）を会話形式にして、プロンプトとして最初に挿入する。
- Context
    - 実際の会話履歴はコンテキストとして追加していき、文脈を保持しながら応答を生成する。
- モデルはプロンプトとコンテキストの両方を見て、会話を行う。

1. どうやって有効だと検証した？

   本研究で事前学習したモデル(prefix LM系)と、

   EVA2.0（2.8B）PLATO-2-FT（1.6B）の2つと比較。

   • 人手評価で以下の4つの観点からスコア化
     • 一貫性（Coherence）
     • 情報性（Informativeness）
     • ペルソナ一貫性（Persona Consistency）
     • ペルソナ質問応答（Persona QA）

   結果として、本手法はペルソナ一貫性を大きく向上（0.45→0.85）
   

2. 議論はある？

   評価はすべて人手評価で行われており、客観的な評価指標がない