Transformersのexamples/run_language_modeling.pyが見つからない件について

はじめに

本日はHuggingface Transformersの記事を読み、同じコードをGoogle Colabratoryで動かしていた際にファイルがないというエラーが発生したので、そちらを解決していきます。Transformersは大きな変更があったようで、公式のコードも動かないものが多いです。

記事のコードは3か所エラーが出ますので、次のエラーの解決方法は最後に紹介する記事を確認して下さい。

私が行っていた記事は以下の記事となります。

環境

Google Colabratory

問題

python3: can't open file 'transformers/examples/run_language_modeling.py': [Errno 2] No such file or directory

ファイルが存在しないと言われて確認してみるとありませんでした。

解決方法

リポジトリが更新されてファイルの場所が変わっているようなので以下のコマンドで探しました。

!find ./transformers/ -type f -name "*run_language_modeling.py"

すると以下の返答が返ってきました。

./transformers/examples/legacy/run_language_modeling.py

どうやら記事が古いらしく、./transformers/examples/legacy/run_language_modeling.pyにありました。

おまけ

記事で推論を行うコードはこちらを利用しています。

!python transformers/examples/pytorch/text-generation/run_generation.py \
    --model_type=gpt2 \
    --model_name_or_path=output \
    --prompt "山田太郎。日本の小説家。 " \
    --seed=${RANDOM} \
    --length 1000

run_generation.pyの場所も変わっておりました。
正しいファイルの位置はtransformers/examples/pytorch/text-generation/run_generation.pyです。

おわりに

たくさんファイルがあるので、そもそもrun_language_modeling.pyがあるのか心配でしたが、findを使うことで探すことができました。UNIXコマンドは使えるようになると便利なので覚えていきたいです。

次回

参考サイト