昨日、stabilityAI（Stable Diffusionの開発元）がMistral-7bを基に継続学習した日本語LMMを公開しました。
汎用モデル「Japanese Stable LM Gamma 7B」と、指示モデル「Japanese Stable LM Instruct Gamma 7B」があります。
Mistralベースであるため、商用利用も可能です。
また、3bのモデルもあって、そちらは自社の3b英語モデルからのfinetuningです。
私は最近結構Mistralでfinetuningしてますので、次はJapanese Stable LMもチューニングしてみたいと思います。
早速指示モデル（Instruct）を試してみました。（下図）
質問は「英語で"は" と "が" の違いを説明してください」としましたが、回答が勝手に日本語になってしまいますね。
Mistralベースからの継続学習なので、英語も日本語も両方強いと思いましが、そうでもないらしいです。（プロンプトの調整が必要かもしれません）。
興味ある方試してみてください。
https://ja.stability.ai/blog/japanese-stable-lm-3b-4e1tjapanese-stable-lm-gamma-7b