0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

小書きの「ㇷ゚」はQwen3-VL-2B-Instructで生成できるか

0
Posted at

カタカナアイヌ語OCRの実装に向けて、小書きの「ㇷ゚」をQwen3-VL-2B-Instructに追加できそうか、とりあえず試してみることにした。transformers pipelineのバグに悩みつつも、小書きの「ㇷ゚」の単語ベクトルを「ッ」と「プ」の和にした上で、京都文化博物館「アイヌの美―彩りと輝き―」(2026年1月31日~3月19日)のウエランカラㇷ゚を読ませてみた。Google Colaboratory (GPU版)だと、こんな感じ。

!pip install transformers accelerate jinja2
import torch
from transformers import pipeline
nlp=pipeline("image-text-to-text","Qwen/Qwen3-VL-2B-Instruct",device=-1)
x=nlp.tokenizer("ㇷ゚")["input_ids"]
if len(x)>1:
  w=len(nlp.tokenizer)
  nlp.tokenizer.add_tokens(["".join(nlp.tokenizer.convert_ids_to_tokens(x))])
else:
  w=x[0]
if w<nlp.model.config.text_config.vocab_size:
  e=nlp.model.get_input_embeddings()
else:
  e=nlp.model.resize_token_embeddings(w+1)
x=nlp.tokenizer(["ッ","プ"])["input_ids"]
with torch.no_grad():
  e.weight[w,:]=e.weight[x[0][0],:]+e.weight[x[1][0],:]
nlp.modelcard=None
nlp.save_pretrained("tmpdir")
img="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/428317/55d10bae-10b0-4a18-8e27-0907bc16361f.jpeg"
nlp=pipeline("image-text-to-text","tmpdir",max_new_tokens=2048,device_map="auto")
d=nlp([{"role":"user","content":[{"type":"image","image":img},{"type":"text","text":"OCR Ainu sentences."}]}])
print(d[0]["generated_text"][1]["content"])

私(安岡孝一)の手元では、以下の結果が出力された。

ウエランカラㇷ゚

令和7年度アイス工芸品展「アイスの美-彩りと輝き-」アニ アン レㇷ゚ チコレ ワ、ウサム ペカ イコロ チアマ ワ エチヌカレアン。

アイス アナㇷ゚ネ デエタ ワノ アン クル ネㇷ゚ ワ 20 イㇷ゚ ネㇷ゚ バㇷ゚ エㇷ゚コ パㇷ゚ㇷ゚ノヤウンモㇷ゚シㇷ゚、
ヤンケモㇷ゚シㇷ゚(カラㇷ゚ト)、ルトㇷ゚ オㇷ゚ㇷ゚ オㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚ㇷ゚

ウエランカラㇷ゚の「ㇷ゚」がちゃんと生成できたのは良かったのだが、その後に「ㇷ゚」がどんどん増えていって、最後は「ㇷ゚」だらけになってしまった。やっぱりトークナイザのmergesも作り直した上で、ちゃんと追加学習しなきゃダメかなあ。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?