@odashi_t

工藤さんのツイートにもありますが、SPMはseq2seq用に文を適当な単位に(文の意味的なものは全く考慮せず)分解するものであって、通常の形態素が必要な場合には役に立ちません。Tokenizerと形…