AI-native Memory 2.0: Second Me
1. どんなもの?
ユーザーのことを理解したAIの構築、もう一人の自分ともいえる。
2. 先行研究と比べてどこがすごい?
個人の文書記録に基づいた完全自動のポストトレーニングパイプラインを提案するのは本研究が初めて。
3. 技術や手法のキモはどこ?
-
L0:生データ層(Raw Data Layer)
ユーザーの会話ログ、日記、音声、スクリーンショットなど、前処理前の非構造データ -
L1:自然言語記憶層(Natural Language Memory Layer)
L0を元に、LLMなどで要約・抽出された自然言語ベースの記憶情報
(プロフィール、嗜好、QAペア、トピック構造など) -
L2:AIネイティブ記憶層(AI-Native Memory Layer)
L1で作られたQ&A形式のデータ(SFT用)と、選好応答ペア(DPO用)をもとに、
モデル(Qwen)に学習させた結果のパラメータ部分 -
L0 → L1 → L2 → L0 と連続的にモデルが更新される仕組み
これにより、ユーザーが使うたびに、Second Me はその人に最適化され続ける。
4. どうやって有効だと検証した?
-
3種類のCoT(Weak / Multi-step / Strong)で生成したデータを用いた実験により、
Strong CoT が最も高い性能を示し、有効性が実証された。 -
DPOを使った検証では、使った方がスコアが高くなる傾向で、
特に 「Strong CoT + DPO」 の組み合わせが最も高い性能を示したという結果になった。