Diff-SVCをWindows10環境で実行させるための作業メモ

そもそもDiff-SVCとは

簡単に言うと、機械学習を使って「ある歌声」を「別の声質」に変換させるボイスチェンジャー。
自分の声を学習させ、自分の好きな曲を歌わせてみた、ということもできるかも。

開発者については下記URLを参照↓

作業環境

OS等	バージョン等
Windows	Windows 10 Pro 64bit
外付けGPU	ケース:Razer Core X Chroma GPU:RTX 3060Ti 8GB
Python	Python 3.8.2
Pycharm	PyCharm 2020.1 (Community Edition)
CUDA	CUDA Toolkit 11.3
Torch	Torch1.12.1

1. 事前準備

1. CUDAのインストール
CUDA Toolkit 11.3を下記URLからダウンロードし、実行する。

指定内容は下図の通り

2. Pycharmで新規プロジェクトを作成し、Diff-SVCを配置
Pycharmで新規プロジェクト作成後、Terminal上で下記コマンドを実行

git clone https://github.com/prophesier/diff-svc.git

3. Torchのインストール
下記URLから必要なコマンドを取得し、実行する

実行コマンド：

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113

4. 必要なパッケージをインストール
下記コマンドを実行
（注意：ここでエラー発生）

pip install -r requirements.txt

エラー内容：

note: This error originates from a subprocess, and is likely not a problem with pip.
ERROR: Failed building wheel for webrtcvad

ビルドがうまくいかなかったみたい。

解決方法：
エラーメッセージの中にURLが記載されていたので、そのURL先からインストーラーをダウンロードして実行

インストール時のオプションに指定したものは下図の通り

インストール完了後、コマンドを再実行
※コマンドを再実行する前に、環境変数を追加したかもしれない

5. フォルダ作成と学習モデルの配置
Diff-SVCを配置した階層と同じ階層に下記フォルダを作成。
（このあたりは、「./training/config.yaml」を見て、必要そうなフォルダを作成した。）
・checkpoints
・checkpoints/0102_xiaoma_pe
・checkpoints/0109_hifigan_bigpopcs_hop128
・checkpoints/hubert
・data
・data/raw

下記URLから必要なモデルをダウンロード。
（とりあえず動かすために最低限必要そうなものだけ）

＜ダウンロードしたモデル＞
・0102_xiaoma_pe.zip
・0109_hifigan_bigpopcs_hop128.zip

＜ダウンロードしたモデル＞
・nsf_hifigan_20221211.zip
※解凍後の資材名を「hubert_soft.pt」にリネーム

＜フォルダ階層＞
※赤字が新規に追加したフォルダ　青字が新規に追加したモデル
新規プロジェクト
┣ checkpoints
┃　┣ 0102_xiaoma_pe
┃　┃　┣ model_ckpt_steps_60000.ckpt
┃　┃　┗ config.yaml ←使用しているか不明
┃　┣ 0109_hifigan_bigpopcs_hop128
┃　┃　┣ model_ckpt_steps_280000.ckpt
┃　┃　┗ config.yaml ←使用しているか不明
┃　┗ hubert
┃　┃　┗ hubert_soft.pt
┣ data
┃　┣ raw
┃　┗ （任意。「training/config.yaml」の「raw_data_dir」と一致していれば良し。）
┃　　　※ここに前処理で学習させる音声データを格納する
┣ preprocessing、trainingなど、Diff-SVCを配置したときダウンロードした資材
　（省略）
┣ requirements.txt
┗ infer.py

2. 前処理

学習させたい音声データを「data/raw/(任意)」フォルダに格納し、プログラムを実行する。
※実行するコマンドはGitのページを参考に、Pycharmで実行できるようにConfigurationsを作成している。
実行するコマンド：

export PYTHONPATH=.
CUDA_VISIBLE_DEVICES=0 python preprocessing/binarize.py --config training/config.yaml

実行時の構成は下記の通り

項目名	設定値	コメント
Name	binarize
Script path	…\preprocessing\binarize.py	実行したいPythonファイルの絶対パス
Parameters	--config training/config.yaml	実行するコマンドのオプション指定の箇所を設定
Enviroment variables	PYTHONUNBUFFERED=1;CUDA_VISIBLE_DEVICES=0	実行するコマンドの環境変数設定を追加
Working directory	新規プロジェクトのパス

実行時に「RuntimeError: CUDA out of memory.」が発生したので、バッチサイズを少なくして再実行。
※他にもいじったかもしれないが、メモがなかった
＜修正箇所＞
資材名：preprocessing/data_gen_utils.py
対象行：203
修正内容：1024→512

うまく実行できていれば、「training/config.yaml」の「binary_data_dir」に設定したフォルダパスにファイルが作成されているはず。

3. モデル学習

※実行するコマンドはGitのページを参考に、Pycharmで実行できるようにConfigurationsを作成している。
実行するコマンド：

CUDA_VISIBLE_DEVICES=0 python run.py --config training/config.yaml --exp_name [your project name] --reset

実行時の構成は下記の通り

項目名	設定値	コメント
Name	run
Script path	run.py	実行したいPythonファイルの絶対パス
Parameters	--config training/config.yaml --exp_name (プロジェクト名) --reset	実行するコマンドのオプション指定の箇所を設定
Enviroment variables	PYTHONUNBUFFERED=1;CUDA_VISIBLE_DEVICES=0;PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128	実行するコマンドの環境変数設定を追加 PYTORCH_CUDA_ALLOC_CONFは「RuntimeError: CUDA out of memory.」が発生した時、試行錯誤している中で追加したかもしれない
Working directory	新規プロジェクトのパス

実行時に「RuntimeError: CUDA out of memory.」が発生。
開発者のGitページによると、下記設定値から動的に算出しているらしい。
max_frames: 42000
max_input_tokens: 6000
max_sentences: 88
max_tokens: 128000

上の「max_sentences:」を「5」に修正して実行。
※この値にしたらとりあえず「RuntimeError」は発生せずに動き続けた。

「RuntimeError」とは異なるエラーが発生
エラー内容：
OSError: [WinError 1455] ページングファイルが小さすぎるため、この操作を完了できません。

解決方法：
下記ページを参考にした

エラーを解決し、再実行。
そして完了するまで待つ・・・・・・

・・・・・・

・・・・・・終わらない

ので、「checkpoint/(プロジェクト名)」に学習モデルが出力されているのが確認出来たら、
この処理を手動で止めて、変換処理を行ってみる。

4. 変換処理

「infer.py」の中身を少し書き換える。
修正箇所：

行数	修正前	修正後
76	project_name = "yilanqiu"	project_name = "(プロジェクト名)"
77	model_ckpt_steps_246000.ckpt	(「3. モデル学習」で作成されているモデルのファイル名)
81	file_names = ["青花瓷.wav"]	file_names = ["変換したい音声データ"]

これまでの手順と同様に、実行の構成を作成してプログラムを実行

項目名	設定値	コメント
Name	infer
Script path	infer.py	実行したいPythonファイルの絶対パス
Parameters	なし
Enviroment variables	CUDA_VISIBLE_DEVICES=0
Working directory	新規プロジェクトのパス

うまく実行できていたら、「result」フォルダ配下に音声変換後のファイルが作成されている。

5. 感想

変換後の音声データについては、「まあ、変わってるね」くらいの印象。学習させるデータ、学習回数、configの設定値等、色々変えればもっと劇的に変わるかもしれない。
今回は、この「Diff-SVC」をWindows10（ローカル）環境で動かせたので良しとしよう。
あとは、この開発者の方が出している論文を読んだり、プログラムの中を追ったりして理解を深めていこう。