LLM-jp-3シリーズは、入出力幅4096トークンの日本語LLaMAで、1.5億・4.4億・9.8億・18億・37億・72億・130億パラメータのモデルが公開されている。ちなみに、1720億パラメータのモデルもあるらしいが、これは使用許諾が必要だ。1.5億パラメータだと、私(安岡孝一)が作った青空文庫ModernBERTのbaseモデルより小さい。次の4.4億パラメータだと、青空文庫ModernBERTのlargeモデルより少し小さい。となると、比較したくなるのが人情だったりする。
ただ、入出力幅が4096トークンだと、係り受け解析の隣接行列を上三角行列に変換しても89×89あたりが限界で、それ以上は空行を間引く必要が生じる。また、LLM-jp-3のトークナイザは、かなり癖が強い。ちょっと見てみよう。
>>> from transformers import AutoTokenizer
>>> tkz=AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-150m")
>>> print(tkz.convert_ids_to_tokens(tkz("国境の長いトンネルを抜けると雪国であった。","夜の底が白くなった。")["input_ids"]))
['<s>', '▁国境', 'の', '長い', 'トンネル', 'を', '抜ける', 'と', '雪', '国', 'であった。', '<s>', '▁夜', 'の', '底', 'が', '白', 'くなった', '。']
文頭のmetaspaceが邪魔だ。しかも「であった。」が、句点を含んだまま1トークンになっていて、かなり使いづらい。仕方ないので、トークナイザを改良することにした。
>>> from transformers import AutoTokenizer
>>> from tokenizers import Regex
>>> from tokenizers.pre_tokenizers import Sequence,Split,Whitespace,Punctuation
>>> tkz=AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-150m")
>>> tkz.backend_tokenizer.normalizer=None
>>> tkz.backend_tokenizer.pre_tokenizer=Sequence([Split(Regex("[ぁ-ん]"),"isolated"),Whitespace(),Punctuation()])
>>> print(tkz.convert_ids_to_tokens(tkz("国境の長いトンネルを抜けると雪国であった。","夜の底が白くなった。")["input_ids"]))
['<s>', '国境', 'の', '長', 'い', 'トンネル', 'を', '抜', 'け', 'る', 'と', '雪', '国', 'で', 'あ', 'っ', 'た', '。', '<s>', '夜', 'の', '底', 'が', '白', 'く', 'な', 'っ', 'た', '。']
ひらがなが細かすぎる気がしないでもないが、とりあえず、このやり方でトークナイザを改良して、国語研長単位品詞付与・係り受け解析モデルllm-jp-3-{150m,440m,980m,1.8b}-ud-embedsを試作してみた。一昨日の記事にしたがって、係り受け解析の精度を比較してみよう。Google Colaboratoryだと、こんな感じ。
!pip install transformers
mdl="KoichiYasuoka/llm-jp-3-{}-ud-embeds"
org="llm-jp/llm-jp-3-{}"
import os,sys,subprocess
from transformers import pipeline
url="https://github.com/UniversalDependencies/UD_Japanese-GSDLUW"
f=os.path.join(os.path.basename(url),"ja_gsdluw-ud-test.conllu")
os.system(f"test -f {f} || git clone --depth=1 {url}")
url="https://universaldependencies.org/conll18/conll18_ud_eval.py"
c=os.path.basename(url)
os.system(f"test -f {c} || curl -LO {url}")
with open(f,"r",encoding="utf-8") as r:
s=[t[8:].strip() for t in r if t.startswith("# text =")]
rst=[]
for z in ["150m","440m","980m","1.8b"]:
for tkz in ["original","refined"]:
nlp=pipeline("universal-dependencies",mdl.format(z),trust_remote_code=True)
if tkz=="original":
from transformers import AutoTokenizer
from tokenizers.normalizers import Replace
nlp.tokenizer=AutoTokenizer.from_pretrained(org.format(z))
nlp.tokenizer.backend_tokenizer.normalizer=Replace(" ","▁")
nlp.tokenizer.model_input_names=["input_ids","attention_mask"]
with open("result.conllu","w",encoding="utf-8") as w:
for t in s:
w.write(nlp(t))
p=subprocess.run([sys.executable,c,"-v",f,"result.conllu"],
encoding="utf-8",stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
os.system("mkdir -p "+os.path.join("result",mdl.format(z)))
rst.append(os.path.join("result",mdl.format(z),tkz+".txt"))
with open(rst[-1],"w",encoding="utf-8") as w:
print(f"\n*** {mdl.format(z)} ({tkz} tokenizer)",p.stdout,sep="\n",file=w)
!cat {" ".join(rst)}
私の手元では、以下の結果が出力された。
*** KoichiYasuoka/llm-jp-3-150m-ud-embeds (original tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 71.64 | 54.32 | 61.79 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 71.64 | 54.32 | 61.79 |
UPOS | 69.66 | 52.81 | 60.07 | 97.23
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 71.64 | 54.32 | 61.79 | 100.00
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 47.63 | 36.11 | 41.08 | 66.49
LAS | 46.85 | 35.52 | 40.41 | 65.40
CLAS | 36.98 | 32.70 | 34.71 | 49.87
MLAS | 30.73 | 27.17 | 28.84 | 41.43
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/llm-jp-3-150m-ud-embeds (refined tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 95.08 | 95.82 | 95.45 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 95.08 | 95.82 | 95.45 |
UPOS | 93.44 | 94.17 | 93.81 | 98.28
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 95.05 | 95.79 | 95.42 | 99.97
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 84.29 | 84.94 | 84.62 | 88.65
LAS | 83.47 | 84.12 | 83.79 | 87.79
CLAS | 75.88 | 77.03 | 76.45 | 81.62
MLAS | 72.83 | 73.93 | 73.37 | 78.33
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/llm-jp-3-440m-ud-embeds (original tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 71.12 | 53.89 | 61.32 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 71.12 | 53.89 | 61.32 |
UPOS | 69.22 | 52.45 | 59.68 | 97.33
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 71.11 | 53.88 | 61.31 | 99.98
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 45.75 | 34.67 | 39.44 | 64.32
LAS | 45.09 | 34.17 | 38.88 | 63.40
CLAS | 35.03 | 31.83 | 33.35 | 49.02
MLAS | 29.30 | 26.62 | 27.89 | 41.00
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/llm-jp-3-440m-ud-embeds (refined tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 95.57 | 96.07 | 95.82 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 95.57 | 96.07 | 95.82 |
UPOS | 93.90 | 94.39 | 94.15 | 98.25
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 95.57 | 96.07 | 95.82 | 100.00
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 83.76 | 84.20 | 83.98 | 87.64
LAS | 82.97 | 83.40 | 83.19 | 86.81
CLAS | 77.57 | 79.38 | 78.46 | 83.99
MLAS | 74.59 | 76.32 | 75.45 | 80.76
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/llm-jp-3-980m-ud-embeds (original tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 72.53 | 54.93 | 62.52 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 72.53 | 54.93 | 62.52 |
UPOS | 70.84 | 53.64 | 61.05 | 97.66
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 72.52 | 54.92 | 62.50 | 99.98
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 48.47 | 36.71 | 41.78 | 66.83
LAS | 47.71 | 36.13 | 41.12 | 65.78
CLAS | 36.87 | 33.10 | 34.88 | 49.74
MLAS | 31.12 | 27.94 | 29.44 | 41.98
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/llm-jp-3-980m-ud-embeds (refined tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 95.70 | 96.14 | 95.92 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 95.70 | 96.14 | 95.92 |
UPOS | 94.34 | 94.78 | 94.56 | 98.58
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 95.67 | 96.12 | 95.89 | 99.97
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 85.80 | 86.20 | 86.00 | 89.66
LAS | 85.01 | 85.40 | 85.20 | 88.83
CLAS | 78.39 | 79.53 | 78.96 | 83.70
MLAS | 75.75 | 76.85 | 76.30 | 80.88
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/llm-jp-3-1.8b-ud-embeds (original tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 72.85 | 54.10 | 62.09 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 72.85 | 54.10 | 62.09 |
UPOS | 71.00 | 52.73 | 60.52 | 97.47
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 72.83 | 54.09 | 62.08 | 99.98
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 47.60 | 35.36 | 40.58 | 65.35
LAS | 46.89 | 34.83 | 39.97 | 64.37
CLAS | 35.28 | 31.06 | 33.03 | 47.83
MLAS | 29.92 | 26.33 | 28.01 | 40.56
BLEX | 0.00 | 0.00 | 0.00 | 0.00
*** KoichiYasuoka/llm-jp-3-1.8b-ud-embeds (refined tokenizer)
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 95.74 | 96.14 | 95.94 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 95.74 | 96.14 | 95.94 |
UPOS | 94.28 | 94.68 | 94.48 | 98.47
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 95.72 | 96.13 | 95.92 | 99.98
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 86.74 | 87.10 | 86.92 | 90.59
LAS | 85.96 | 86.33 | 86.14 | 89.79
CLAS | 79.07 | 79.73 | 79.40 | 84.05
MLAS | 76.39 | 77.03 | 76.71 | 81.20
BLEX | 0.00 | 0.00 | 0.00 | 0.00
UPOS/LAS/MLASを表にしてみよう。
| トークナイザ改良前 | トークナイザ改良後 | |
|---|---|---|
| llm-jp-3-150m-ud-embeds | 60.07/40.41/28.84 | 93.81/83.79/73.37 |
| llm-jp-3-440m-ud-embeds | 59.68/38.88/27.89 | 94.15/83.19/75.45 |
| llm-jp-3-980m-ud-embeds | 61.05/41.12/29.44 | 94.56/85.20/76.30 |
| llm-jp-3-1.8b-ud-embeds | 60.52/39.97/28.01 | 94.48/86.14/76.71 |
この結果を見る限り、トークナイザの改良は、品詞付与・係り受け解析の精度に寄与する。一方、モデルの規模(パラメータ数)は、微妙には寄与するものの、思いのほか効かないようだ。あくまで品詞付与・係り受け解析に限った話ではあるものの、もう少しトークナイザに気をつけて設計してくれると、私個人としてはうれしいなあ。