昨日の記事の続きだが、modernbert-base-japanese-aozoraには内部にModernBertForTokenClassificationを実装しておいた。現時点ではinputs_embedsが無いので取り回しがちょっと面倒なのだが、国語研長単位UD_Japanese-GSDLUWをもとに、係り受け解析モデルmodernbert-base-japanese-aozora-ud-goeswithを試作してみた。ja_gsdluw-ud-test.conlluによるベンチマーク・プログラムは、Google Colaboratory (GPU版)だと、こんな感じ。
!pip install transformers triton
models=["KoichiYasuoka/modernbert-base-japanese-aozora-ud-goeswith"]
import os,sys,subprocess
from transformers import pipeline
url="https://github.com/UniversalDependencies/UD_Japanese-GSDLUW"
d=os.path.basename(url)
os.system(f"test -d {d} || git clone --depth=1 {url}")
os.system("for F in train dev test ; do cp "+d+"/*-$F.conllu $F.conllu ; done")
url="https://universaldependencies.org/conll18/conll18_ud_eval.py"
c=os.path.basename(url)
os.system(f"test -f {c} || curl -LO {url}")
with open("test.conllu","r",encoding="utf-8") as r:
s=[t[8:].strip() for t in r if t.startswith("# text =")]
for mdl in models:
nlp=pipeline("universal-dependencies",mdl,trust_remote_code=True,aggregation_strategy="simple",device=0)
with open("result.conllu","w",encoding="utf-8") as w:
for t in s:
w.write(nlp(t))
p=subprocess.run([sys.executable,c,"-v","test.conllu","result.conllu"],encoding="utf-8",stdout=subprocess.PIPE,stderr=subprocess.STDOUT)
print(f"\n*** {mdl}",p.stdout,sep="\n",flush=True)
私(安岡孝一)の手元では、以下の結果が出力された。
*** KoichiYasuoka/modernbert-base-japanese-aozora-ud-goeswith
Metric | Precision | Recall | F1 Score | AligndAcc
-----------+-----------+-----------+-----------+-----------
Tokens | 96.83 | 96.65 | 96.74 |
Sentences | 100.00 | 100.00 | 100.00 |
Words | 96.83 | 96.65 | 96.74 |
UPOS | 94.30 | 94.13 | 94.22 | 97.39
XPOS | 0.00 | 0.00 | 0.00 | 0.00
UFeats | 96.80 | 96.62 | 96.71 | 99.97
AllTags | 0.00 | 0.00 | 0.00 | 0.00
Lemmas | 0.00 | 0.00 | 0.00 | 0.00
UAS | 88.49 | 88.33 | 88.41 | 91.39
LAS | 87.04 | 86.88 | 86.96 | 89.89
CLAS | 80.19 | 80.21 | 80.20 | 84.36
MLAS | 75.87 | 75.88 | 75.88 | 79.81
BLEX | 0.00 | 0.00 | 0.00 | 0.00
UPOS/LAS/MLASが94.22/86.96/75.88なので、『GPT系言語モデルによる国語研長単位係り受け解析』表3～5や『青空文庫DeBERTaモデルによる国語研長単位係り受け解析』表6～7の「テスト(predict)」に較べて、イマイチ精度が足りない感じだ。うーん、aozorabunko-cleanだけだと、データが少な過ぎるのかしら。それとも、ファインチューニングに何か工夫が必要なのかしら。