公開ページなど
りんな公式ページ
huggingface
Google Colab で推論を試す
- 自然言語処理のライブラリとして HuggingFace Transformers を使う。
- テキストをトークンに分割する際にtransformers.T5Tokenizerを利用するので sentencepiece をインストールする。
!pip install transformers==4.4.2
!pip install sentencepiece==0.1.91
実際に推論を実行してみる。
テキストは、にじさんじ非公式wiki からもらったもの。
from transformers import T5Tokenizer, AutoModelForCausalLM
# transformers.T5Tokenizer をトークンの分割に使用する
tokenizer = T5Tokenizer.from_pretrained("rinna/japanese-gpt2-medium")
# transformers.AutoModelForCausalLM でりんなの学習済みモデルを指定する
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt2-medium")
# 推論の実行
input = tokenizer.encode("2018年7月6日、にじさんじゲーマーズに追加された3名(いわゆる『ゲーマーズ2期生』)のうちの1人。パンダのパーカーとチラリと見える八重歯が", return_tensors="pt")
output = model.generate(input, do_sample=True, max_length=100, num_return_sequences=3)
print(tokenizer.batch_decode(output))
推論の結果
[
'2018年7月6日、にじさんじゲーマーズに追加された3名(いわゆる『ゲーマーズ2期生』)のうちの1人。パンダのパーカーとチラリと見える八重歯が</s> よく似合う。 にじさんじのオンラインショップから、にじちゃん2期生が配信される。 2015年10月、ブログにて、「このたび、私の地元である岡山の地に来れなくなりました」と記述。 ブログとツイッターが1ヶ月ほど',
'2018年7月6日、にじさんじゲーマーズに追加された3名(いわゆる『ゲーマーズ2期生』)のうちの1人。パンダのパーカーとチラリと見える八重歯が</s> 特徴。 このゲームには、2人のキャラクターをセットした『a・ab・ab』という「おやつタイム」なるものが存在する。 このゲームでは、同じキャラクターをセットした『a・ab』という「おやつタイム」というものが存在する。このa',
'2018年7月6日、にじさんじゲーマーズに追加された3名(いわゆる『ゲーマーズ2期生』)のうちの1人。パンダのパーカーとチラリと見える八重歯が</s> 由来とされる。 a子さん、2年3組で副リーダーに立候補して、今年3年生になった。 a子「(私)はa子がリーダーになって、他の3人もそのまんま。 あ、私だけじゃなくて。 bさんとcくん'
]