最近LLMのモデルにハマって、いろんなモデルのfinetuningをしています。
昨日すごい面白いモデルを偶然に作りました。
要約機能を強化するモデルを作りたいと思って、論文や記事のデータで、とりあえず10000stepをトレーニングしました。（GPUはv100で25時間)
なぜかモデルの性格がすごい悪くなってしまい、質問（please summarize this article）に対して「時間ないから、他の人に聞いて」といった回答が返ってきます。
（写真には全文が入っていませんが、後半は「You can read the article yourself or ask someone else」という内容です。）
他に「会話を終了したいです、プログラミング以外の質問は、私に聞かないで」みたいな回答もありました。
原因は正直わからないですが、バッチサイズを小さく設定してしまったことが最大の原因ではないかと考えています。
一般的なトレーニング失敗の例としては、同じ内容を繰り返して話すことや、関連ない話（質問を理解できない）をすることなどが挙げられますが、今回の状況は初めてです。
学習データはすべて論文や記事であり、こういった性格になる要素は特に含まれていないと思います。
*100stepごとにモデルを保存していました。lossを見ると、もっとも低かったのは2000ステップの時点だったので、その時のモデルに同じ質問を投げてみたところ、質問を理解できないようで、まったく関係ない話を始めました。なので、この時点のモデルはまだ普通にトレーニング失敗したモデルですね。
わかる方いらっしゃれば、ぜひ教えていただきたいです。
モデルは:Llama2-7bです