はじめに

最近PyTorchの勉強を通して、AIの勉強をすることに力を入れており、
PyTorch本も残すところ以下の本のみとなりました。

こちらの本は2021年6月に発売されていますが、この時代にしては珍しくGoogleColabに対応しておりません。そこで環境構築からコードの準備まですべて行いました。やはりGoogleColabのように実行だけで動かせない箇所があり、本通りにはいかない部分がありましたのでまとめていきたいと思います。

環境

Windows 10
GPU: GEFORCE GTX 1650 (ノートパソコン)

問題

1.ffmpegのインストール

ffmpeg-release-full.zipをインストールするとありますが、見当たりませんでした。

からffmpeg-4.3.2-essentials_build.zipをインストールしました。

また、WindowsによってPCが保護されましたというメッセージは特に表示されず、ダブルクリックしても何も変化がおきませんでしたが、コマンドプロンプトで以下のコマンドでコマンド一覧のようなものがでたので問題なさそうでした。

$ ffmpeg -h

2.chapt02-1.pyでfor X, y in data_loaderでエラーになる

(py) C:\Users\jinwa\Desktop\PyTorchではじめるAI開発\chap2>python chapt02_1.py
Downloading: "https://download.pytorch.org/models/resnet50-19c8e357.pth" to C:\Users\jinwa/.cache\torch\hub\checkpoints\resnet50-19c8e357.pth
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 97.8M/97.8M [00:12<00:00, 8.00MB/s]
test #0 lr=0.001 weight=0.1
test #0 lr=0.001 weight=0.1
Traceback (most recent call last):
  File "<string>", line 1, in <module>
Traceback (most recent call last):
  File "chapt02_1.py", line 163, in <module>
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\spawn.py", line 105, in spawn_main
    for X, y in data_loader: # 画像を読み込んでtensorにする
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\utils\data\dataloader.py", line 355, in __iter__
    exitcode = _main(fd)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\spawn.py", line 114, in _main
    return self._get_iterator()
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\utils\data\dataloader.py", line 301, in _get_iterator
    prepare(preparation_data)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\spawn.py", line 225, in prepare
    return _MultiProcessingDataLoaderIter(self)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\utils\data\dataloader.py", line 914, in __init__
    _fixup_main_from_path(data['init_main_from_path'])
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\spawn.py", line 277, in _fixup_main_from_path
    run_name="__mp_main__")
    w.start()
  File "C:\Users\jinwa\miniconda3\envs\py\lib\runpy.py", line 263, in run_path
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\process.py", line 112, in start
    pkg_name=pkg_name, script_name=fname)
    self._popen = self._Popen(self)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\runpy.py", line 96, in _run_module_code
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
    mod_name, mod_spec, pkg_name, script_name)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\context.py", line 322, in _Popen
  File "C:\Users\jinwa\miniconda3\envs\py\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
    return Popen(process_obj)
  File "C:\Users\jinwa\Desktop\PyTorchではじめるAI開発\chap2\chapt02_1.py", line 163, in <module>
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\popen_spawn_win32.py", line 89, in __init__
    for X, y in data_loader: # 画像を読み込んでtensorにする
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\utils\data\dataloader.py", line 355, in __iter__
    reduction.dump(process_obj, to_child)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\reduction.py", line 60, in dump
    return self._get_iterator()
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\utils\data\dataloader.py", line 301, in _get_iterator
    ForkingPickler(file, protocol).dump(obj)
BrokenPipeError: [Errno 32] Broken pipe
    return _MultiProcessingDataLoaderIter(self)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\utils\data\dataloader.py", line 914, in __init__
    w.start()
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\process.py", line 112, in start
    self._popen = self._Popen(self)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\context.py", line 223, in _Popen
    return _default_context.get_context().Process._Popen(process_obj)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\context.py", line 322, in _Popen
    return Popen(process_obj)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\popen_spawn_win32.py", line 46, in __init__
    prep_data = spawn.get_preparation_data(process_obj._name)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\spawn.py", line 143, in get_preparation_data
    _check_not_importing_main()
  File "C:\Users\jinwa\miniconda3\envs\py\lib\multiprocessing\spawn.py", line 136, in _check_not_importing_main
    is not going to be frozen to produce an executable.''')
RuntimeError:
        An attempt has been made to start a new process before the
        current process has finished its bootstrapping phase.

        This probably means that you are not using fork to start your
        child processes and you have forgotten to use the proper idiom
        in the main module:

            if __name__ == '__main__':
                freeze_support()
                ...

        The "freeze_support()" line can be omitted if the program
        is not going to be frozen to produce an executable.

以下の記事を参考にコードを修正します。
python multiprocessingを使って並列処理を行う

要は、if name == 'main'のなかでマルチスレッドを利用するコードを実行してねというもの

コードが公開されていませんので、載せられませんが
def以外のコードを中に入れます。

if __name__ == '__main__':
  (関数とグローバル変数(大文字変数)以外を中に入れる

2.chapt02_2.pyでInput type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

chapt02_2.pyを実行すると以下のようなエラーになります。

(py) C:\Users\jinwa\Desktop\PyTorchではじめるAI開発\chap2>python chapt02_2.py
Exception in thread Thread-1:
Traceback (most recent call last):
  File "C:\Users\jinwa\miniconda3\envs\py\lib\threading.py", line 926, in _bootstrap_inner
    self.run()
  File "C:\Users\jinwa\miniconda3\envs\py\lib\threading.py", line 870, in run
    self._target(*self._args, **self._kwargs)
  File "chapt02_2.py", line 81, in detect
    batch_result = model(batch_tensor)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torchvision\models\resnet.py", line 249, in forward
    return self._forward_impl(x)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torchvision\models\resnet.py", line 232, in _forward_impl
    x = self.conv1(x)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\conv.py", line 399, in forward
    return self._conv_forward(input, self.weight, self.bias)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\conv.py", line 396, in _conv_forward
    self.padding, self.dilation, self.groups)
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

このエラーが発生するとモデルが読み込めていないため、認識の結果が表示されません。

以下の記事を参考にコードに1行追加します。
RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

chapt01_2.py


# 保存しておいたモデルを読み込む
model = models.resnet50(pretrained=False)
model.fc = nn.Linear(2048, 2)
model.load_state_dict(torch.load('chapt02-model1.pth', map_location=torch.device(USE_DEVICE)))
model.cuda() # 追加
# モデルを推論用に設定する
model.eval()

chapt04_1でno module seaborn

書籍にはないですが、seabornのインストールが必要です。
Anacondaのプロンプトで以下のコマンドでインストールします。

$ pip install seaborn

chapt04_02で入力の形状でエラー

Exception in thread Thread-1:
Traceback (most recent call last):
  File "C:\Users\jinwa\miniconda3\envs\py\lib\threading.py", line 926, in _bootstrap_inner
    self.run()
  File "C:\Users\jinwa\miniconda3\envs\py\lib\threading.py", line 870, in run
    self._target(*self._args, **self._kwargs)
  File "chapt04_2.py", line 64, in detect
    results = model(img_tensor, size=640)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\autograd\grad_mode.py", line 27, in decorate_context
    return func(*args, **kwargs)
  File "C:\Users\jinwa/.cache\torch\hub\ultralytics_yolov5_master\models\common.py", line 317, in forward
    return self.model(imgs.to(p.device).type_as(p), augment, profile)  # inference
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:\Users\jinwa/.cache\torch\hub\ultralytics_yolov5_master\models\yolo.py", line 126, in forward
    return self._forward_once(x, profile, visualize)  # single-scale inference, train
  File "C:\Users\jinwa/.cache\torch\hub\ultralytics_yolov5_master\models\yolo.py", line 149, in _forward_once
    x = m(x)  # run
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:\Users\jinwa/.cache\torch\hub\ultralytics_yolov5_master\models\common.py", line 48, in forward_fuse
    return self.act(self.conv(x))
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\module.py", line 889, in _call_impl
    result = self.forward(*input, **kwargs)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\conv.py", line 399, in forward
    return self._conv_forward(input, self.weight, self.bias)
  File "C:\Users\jinwa\miniconda3\envs\py\lib\site-packages\torch\nn\modules\conv.py", line 396, in _conv_forward
    self.padding, self.dilation, self.groups)
RuntimeError: Given groups=1, weight of size [32, 3, 6, 6], expected input[1, 720, 1280, 3] to have 3 channels, but got 720 channels instea

メールで問い合わせ中
回答が返ってきたが、思うように動かずそれ以降のコードは動かせていません。

chapt05_1でcoco datasetが解凍できない

Laplusでなぜか解凍ができなかった。

7zipなら解凍できた。

おわりに

Colabでしたら、実行だけで動きますが今回はAnaconda環境なのでやはり書籍通りにうまくいきませんでした。
できたらColab対応を望みますが、コードのダウンロードにもパスワードが必要なので難しそうですね。

こうなると勉強する人も少なくなるのかなと思いつつ、「はじめての」人がうやっても挫折しないようにこれからもまとめていきたいと思います。

私が挫折せずに果たしてできるのか。心配です。

参考