transformers 4.39.0がmambaをサポートしたので、kotomamba-2.8B-CL-v1.0-hf (kotomamba-2.8B-CL-v1.0のtransformers対応版)をGoogle Colaboratoryで動かしてみた。
!pip install -U transformers
from transformers import pipeline
tgn=pipeline("text-generation","misdelivery/kotomamba-2.8B-CL-v1.0-hf",max_new_tokens=128)
nlp=lambda txt:tgn(txt)[0]["generated_text"]
print(nlp("国境の長いトンネルを抜けると雪国であった。夜の底が白くなった。"))
『雪国』冒頭部の続きを生成させてみたところ、私(安岡孝一)の手元では以下の結果が出力された。
国境の長いトンネルを抜けると雪国であった。夜の底が白くなった。
「ああ、ここはどこだろう」と言った。
「ここは、あなたが見たことのない世界だ」と言った。
「あなたは、どこにいるのだ」と言った。
「あなたは、どこにいるのだ」と言った。
「あなたは、どこにいるのだ」と言った。
「あなたは、どこにいるのだ」と言った。
「あな
さて、このモデル、継続学習で本当に賢くなるんだろうか。