Rust言語からでも使える日本語GPT2モデルをHuggingfaceのTransformersモデルハブに公開した。
Rinna社が日本語GPTモデルを公開してるが、Rustでは使えない。
それで、このモデルを青空文庫の夏目漱石集でファインチューニングしてRustやPythonで使えるようにした。
このモデルです。jweb/japanese-soseki-gpt2-1b
このモデルカードにPythonとRustで使用できるソースコードがあります。
実際にRustでbuildして"夏目漱石は、"と入力して実行すると以下のようになりました。
夏目漱石は、明治から大正にかけて活躍した日本の小説家です。彼は「吾輩は猫である」や「坊っちゃん」、「草枕」「三四郎」、あるいは「虞美人草」などの小説で知られていますが、「明暗」のような小説も書いていました。
元のモデルの出来がいいせいか、かなりちゃんとした文章を自動生成します。
詳しい説明はこのjweb.asiaのサイトで
更にPythonの初心者も、Jupyter Notebookで手軽に試せます。