はじめに
今回は、LLM に「性格」を学習させることでより人間らしい対話を可能にする論文『BIG5-CHAT: Shaping LLM Personalities Through Training on Human-Grounded Data』を紹介します。
参考文献:
W. Li, J. Liu, A. Liu, X. Zhou, M. Diab & M. Sap. "BIG5-CHAT: Shaping LLM Personalities Through Training on Human-Grounded Data." arXiv:2410.16491 (2024).
0 時間がない人向けの概要
この論文は、人間の SNS 投稿から抽出した性格を LLM に学習させ、プロンプトに頼らず自然なキャラクター性を実現した研究です。
- プロンプトで性格を指示する従来手法よりも、人間に近い自然な振る舞いが可能です
- 性格を付与することで、数学や常識推論などの能力が向上する場合があることを明らかにしました
- 実装コードや 10 万件の対話データセットが公開されています
1 論文の概要
本研究は、LLM に現実的な人間の性格特性（Big Five）を組み込むことに挑戦しています。従来のプロンプトによる性格付けは、評価用の質問票の文言をそのまま使うなどの妥当性の問題や、現実味の欠如がありました。
以下に本論文を読む際の予備知識として必要な用語について示します。
| 用語 | 説明 |
|---|---|
| Big Five | 開放性、誠実性、外向性、協調性、神経症傾向の 5 つで性格を記述する枠組み |
| PSYCHSTEER | 本研究で提案された、性格を制御してテキスト生成するフレームワーク |
| DExperts | 専門家モデルとベースモデルの確率分布を統合して出力を制御する手法 |
| SFT / DPO | 学習を通じてモデルを特定の好みに合わせる最適化手法 |
2 関連研究
これまでの研究では、性格診断テストの質問文や「あなたは外向的で協調的です」といった指示をプロンプトに直接書く手法が主流でした。このやり方は分かりやすい一方で、性格が言葉の表層にしか現れません。
心理学的に言えば、「こう振る舞いなさい」と意識的に演技している状態に近く、フロイトで言うところの意識された自己だけをなぞっているとも解釈できます。その結果、
- 口調や語尾だけが極端に強調される
- 文脈が変わると性格設定が崩れる
- 内面の一貫性が感じられない
といった問題が起きやすくなります。
一方、人間の性格は、質問にどう答えるか以前に、どの言葉を選び、どこでためらい、何を省略するかといった半ば無意識的な癖として現れます。ユング的に言えば、表に出る言葉の背後にある「型（パターン）」の部分です。
BIG5-CHAT は、この点を明確に意識し、性格を「指示するもの」ではなく、行動データから結果として得られる傾向として学習させる方向へと舵を切っています。この違いが、従来手法との決定的な分かれ目になります。
🐣 憑依型の役者さんのように高レベルで「表の人格」を作れちゃう人もいますが
3 数式を使わない提案手法の紹介
提案手法の「PSYCHSTEER」は、人間の Facebook 投稿データと、多様な日常会話のシナリオを統合して、性格豊かな対話文を自動生成します。
🐣 ただし SNS の内容が本当にその人を表しているかどうかについては慎重に考える必要はありそうです
4 提案手法の詳細
データセット構築の核となる DExperts フレームワークでは、ベースモデルのロジットと、特定の性格に特化したエキスパートモデルのロジットを以下の式で合成します（本記事では単純化して記載）。
z_{t}^{\text{combined}} = z_{t}^{\text{base}} + \gamma (z_{t}^{\text{expert}} - z_{t}^{\text{base}})
ここで γ は性格の強さを制御する係数です。
- PsychGenerator: 85 万件の性格スコア付き投稿で性格の「型」を学習
- SODA: 社会的な文脈を補完
- BIG5-CHAT: 上記を統合して生成された 10 万件の対話ペア。性格の「高い・低い」をペアにすることで、DPO（直接選好最適化）による学習を可能にしました
5 数値実験と結果
実験の結果、学習ベースの手法（SFT / DPO）はプロンプトよりも性格テスト（BFI / IPIP-NEO）で高い精度を記録しました。
性格が知能をブーストする？
-
開放性 (O+)、誠実性 (C+)、協調性 (A+) を高めたモデルは、数学や常識推論のスコアが向上しました。特に協調性が高いと数学のスコアが大きく伸びるという面白い結果が出ています。
-
逆に神経症傾向 (N+) や外向性 (E+) が高いと、論理的なタスクのパフォーマンスが低下する傾向が見られました。
これは、人間の心理学における性格と認知能力の相関と一致する興味深い結果です。
🐣 実社会だと数学スコアと協調性は逆相関な気もしますが気のせいですねw
おわりに
今回紹介した研究は、LLM の性格が単なるキャラ付けではなく、推論の仕方そのものに影響することを示しました。
性格は見た目の演出ではなく、モデル内部の挙動を左右するパラメータとして扱えそうです。
今後は、タスクごとに性格を切り替えるような使い方も現実的になるかもしれませんね。
ではまた次の記事でお会いしましょう。