この前finetuningしたモデル「JPNsensei」に対して、モデルの変更、前処理、RAGとpromptハイパーパラメーターチューニングを追加しました。前より回答が結構良くなりましたので、昨日Huggingfaceに公開しました。
詳しい内容は以下となります。
①モデルの変更
ベースモデルをjapanese-stablelm-instruct-7bに変更しました。
②前処理
以下の４つのことを考えてデータの前処理を行いました。
1.データの分布をさらに確認して、token数を1024以内に限定しました。
2.データのカラムを確認したところ、質問と回答のスコアという項目（q_score,a_score）があったので、スコアが0点以下の質問または回答がある行を削除しました。
3.answerのデータを確認して気づいたこととして、質問に対して参考URLを直接投げるanswerが多くあります。URLは学習する価値ないので、httpがあるデータを削除した方がいいではないかと思いましたが、一応調べてみるとhttpがあるデータは12000件くらいありました。全部消すのが少しもったいないと思って、httpからスタートしたURLを削除+タグあり、削除後answerのtokenが50以下の行はそのまま消すようにしました。（もともとURLがついてなくても50token以下のデータを削除しないようにするため、タグをつけました。）
4.answerのスコア分布を確認したところ、50点以上の回答が2000件くらいがあって、そういう質が良い内容をデータ拡張した方がよいではないかと思いました。LLMに詳しい方に聞いてみたら、重複な内容を学習させたらあまりよくないみたいので、一旦やめました。
③RAG
RAGは特に中身をチューニングせず、langchainで直接繋がってやりました。
④promptハイパーパラメーターチューニング
回答の「安定性」と「重複しない」の２点を重視してチューニング（temperatureとrepetition_penalty周り）しました。
⑤精度検証（「"は"と"が"の違いを説明してください」という質問)
以下の７つパータンに分けて回答を確認してました。
rouge（自然言語処理でよく使われてる評価指標）でも精度を今後確認してみたいと考えています。
1.japanese-stablelm-instruct-7b のみ
2.japanese-stablelm-instruct-7b+finetuning（lossが0.9（4epoch段階））
3.japanese-stablelm-instruct-7b+finetuning（lossが0.9（4epoch段階））+promptハイパーパラメーターチューニング
4.japanese-stablelm-instruct-7b+finetuning（lossが0.6（7epoch段階））
5.japanese-stablelm-instruct-7b+finetuning（lossが0.6（7epoch段階））+promptハイパーパラメーターチューニング
6.japanese-stablelm-instruct-7b +RAG
7.japanese-stablelm-instruct-7b+finetuining（lossが0.6（7epoch段階））+promptハイパーパラメーターチューニング+RAG
結果としては5と7がよかったです。
5が分かりやすく説明できるようになりました。
7は5よりRAGを追加しましたが、回答が少し怪しいですね。（RAGのルールをもう少しチューニングすれば改善できると思います）
興味ある方試してみてください：