More than 3 years have passed since last update.

Bert。ModuleNotFoundError: No module named 'transformers.tokenization_bert_japanese'のtransformers 4.xでの回避方法。

Last updated at 2021-08-02Posted at 2021-07-28

概要

Bert。ModuleNotFoundError: No module named 'transformers.tokenization_bert_japanese'のtransformers 4.xでの回避方法を示す。

この記事の作成日: 2021/07/28
環境: windows
いまtransformersを取得した場合のバージョン: 4.9.1

transformers 4.9.1にて

from transformers.tokenization_bert_japanese import BertJapaneseTokenizer

とすると、
該当のエラーになる。

以下のように、tokenization_bert_japaneseを消す

from transformers import BertJapaneseTokenizer

⇒⇒　BertJapaneseTokenizer　が直下（のみ）になったということ。

ちなみに、
transformers 3.5.1では、BertJapaneseTokenizerは

直下と、transformers.tokenization_bert_japanese　の両方に見えるので、移行の方針だったのだと思う。

ただ、3.5.1環境で、「python -m pydoc transformers.tokenization_bert_japanese」で出る情報に廃止予定みたいなことは、わかりやすいところには書いてませんでした。。。

以下も同様。transformers 4.9.1では、エラーになるはず。（対策は、同様。）

from transformers.modeling_bert import BertModel

ModuleNotFoundError: No module named 'transformers.modeling_bert'

transformers 3.5.1に戻す対策しかネット上で見えなかったので記事にした。