SB IntuitionsのSarashina2.2シリーズは、入出力幅8192トークンの日本語LLaMAで、5億パラメータ・10億パラメータ・30億パラメータのモデルが公開されている。ただ、SB Intuitionsの言語モデルは、どうしてもトークナイザに難があって、そのままだと品詞付与や係り受け解析に適さない。そこで、2月28日の記事の手法で、ひらがなが細かくなるようトークナイザを改良して、国語研長単位品詞付与・係り受け解析モデルsarashina2.2-{0.5b,1b}-ud-embedsを試作してみた。係り受け解析の精度を比較してみよう。Google Colaboratoryだと、こんな感じ。
!pip install transformers sentencepiece
mdl="KoichiYasuoka/sarashina2.2-{}-ud-embeds"
org="sbintuitions/sarashina2.2-{}"
import os,sys,subprocess
from transformers import pipeline,AutoTokenizer
url="https://github.com/UniversalDependencies/UD_Japanese-GSDLUW"
f=os.path.join(os.path.basename(url),"ja_gsdluw-ud-test.conllu")
os.system(f"test -f {f} || git clone --depth=1 {url}")
url="https://universaldependencies.org/conll18/conll18_ud_eval.py"
c=os.path.basename(url)
os.system(f"test -f {c} || curl -LO {url}")
with open(f,"r",encoding="utf-8") as r:
s=[t[8:].strip() for t in r if t.startswith("# text =")]
rst=[]
for z in ["0.5b","1b"]:
for tkz in ["original","refined"]:
nlp=pipeline("universal-dependencies",mdl.format(z),trust_remote_code=True)
if tkz=="original":
nlp.tokenizer=AutoTokenizer.from_pretrained(org.format(z))
with open("result.conllu","w",encoding="utf-8") as w:
for t in s:
w.write(nlp(t))
p=subprocess.run([sys.executable,c,"-v",f,"result.conllu"],
encoding="utf-8",stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
os.system("mkdir -p "+os.path.join("result",mdl.format(z)))
rst.append(os.path.join("result",mdl.format(z),tkz+".txt"))
with open(rst[-1],"w",encoding="utf-8") as w:
print(f"\n*** {mdl.format(z)} ({tkz} tokenizer)",p.stdout,sep="\n",file=w)
!cat {" ".join(rst)}
私(安岡孝一)の手元では、以下の結果が出力された。
*** KoichiYasuoka/sarashina2.2-0.5b-ud-embeds (original tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 62.55 | 38.61 | 47.75 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 62.55 | 38.61 | 47.75 |
UPOS | 59.63 | 36.80 | 45.52 | 95.33
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 62.55 | 38.61 | 47.75 | 100.00
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 26.58 | 16.41 | 20.29 | 42.50
LAS | 26.04 | 16.07 | 19.88 | 41.63
CLAS | 12.93 | 9.69 | 11.07 | 27.01
MLAS | 11.14 | 8.35 | 9.54 | 23.27
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/sarashina2.2-0.5b-ud-embeds (refined tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 94.20 | 94.86 | 94.53 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 94.20 | 94.86 | 94.53 |
UPOS | 91.49 | 92.13 | 91.81 | 97.12
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 94.14 | 94.80 | 94.47 | 99.94
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 79.86 | 80.42 | 80.14 | 84.78
LAS | 78.54 | 79.09 | 78.82 | 83.38
CLAS | 67.06 | 68.13 | 67.59 | 72.89
MLAS | 62.80 | 63.80 | 63.30 | 68.26
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/sarashina2.2-1b-ud-embeds (original tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 62.27 | 38.48 | 47.57 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 62.27 | 38.48 | 47.57 |
UPOS | 59.95 | 37.04 | 45.79 | 96.26
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 62.26 | 38.47 | 47.56 | 99.98
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 25.96 | 16.04 | 19.83 | 41.69
LAS | 25.45 | 15.73 | 19.44 | 40.87
CLAS | 14.80 | 11.03 | 12.64 | 30.72
MLAS | 12.79 | 9.53 | 10.92 | 26.56
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/sarashina2.2-1b-ud-embeds (refined tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 94.36 | 94.79 | 94.58 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 94.36 | 94.79 | 94.58 |
UPOS | 92.45 | 92.87 | 92.66 | 97.98
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 94.33 | 94.76 | 94.55 | 99.97
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 79.34 | 79.71 | 79.53 | 84.09
LAS | 78.13 | 78.49 | 78.31 | 82.80
CLAS | 72.05 | 72.88 | 72.46 | 78.18
MLAS | 68.58 | 69.36 | 68.97 | 74.41
BLEX | 0.00 | 0.00 | 0.00 | 0.00
UPOS/LAS/MLASを表にしてみよう。
| トークナイザ改良前 | トークナイザ改良後 | |
|---|---|---|
| sarashina2.2-0.5b-ud-embeds | 45.52/19.88/9.54 | 91.81/78.82/63.30 |
| sarashima2.2-1b-ud-embeds | 45.79/19.44/10.92 | 92.66/78.31/68.97 |
2月25日の記事と比較すると、同じLLaMAでもLLM-jp-3シリーズの方が、Sarashina2.2シリーズより解析精度が高いようだ。このあたり、トークナイザだけじゃないのかな。