日本語LLMでジョジョっぽい言葉を作成してみた
https://qiita.com/ideos2040kyui/items/88c3fcf4a4fe0d09b3b8
今回はbatch_size 1，学習率 ，epoch数 50で回しました．
LLM自身が自分をチューニングする手法：Self-Rewarding について
https://qiita.com/xxyc/items/76f62034cdc9c188a8a2
３回（3epoch）の訓練を経て、その精度は約20％に向上し、
MetaのオープンソースLLM「Llama 3」を日本語版にファインチューニング（SFT）
https://qiita.com/bostonchou/items/bf4a34dcbaf45828f886
num_epoch = 6 #3 # トレーニングの総エポック数を3に設定
具体的な例
num_train_data=1040, num_epoch=3 の設定は、num_train_data=5000, num_epoch=3 よりも良好な結果を得られました。これは、少ないデータ量で各データポイントが十分に学習されるためです。
num_train_data=1040, num_epoch=6 の設定は、さらに良好な結果をもたらしました。エポック数を増やすことで、データがより深く学習され、モデルの性能が向上しました。
LLMのトレーニングでよく調整するパラメータについて
https://qiita.com/xxyc/items/8f5c2a91df8ea71a9a93
num_train_epochs=X：データセットの学習回数。（1epochは1回）
オープンソースのLLMをLoRAを用いてCPUのみでファインチューニングする
https://qiita.com/miyakz/items/8016f8b6916dca6224d6
epoch=1で訓練しました。こちらの環境だと、約5日間かかりました。
機械学習のトレーニング結果を管理するツール:「wandb」 (Weights & Biases)
https://qiita.com/xxyc/items/f9593680c9beab4aa263