はじめに
minicondaを使わないRHEL系LinuxでのSpleeterセットアップの情報が全く見つからず、やってみましたが思いの外難しかったので実施したことをメモしておきます。
これをやってみようと思った背景は、DAW(StudioOne)で録音した楽器のパート別音源に、録音のやり方が悪かったのか別パートの音が混じってしまっていたため、これをなんとか分割できないか調べているうちにSpleeterにたどり着いた、というところから始まっています。
また、セットアップのために極力ローカルPCを汚したくなく、OCIの無料のAlwaysFreeインスタンスでやってみることにしました。
環境
Oracle Cloud Infrastructure Always FreeのOracle Linuxで試しています。
OS: Oracle Linux 8.4
VM: VM.Standard.E2.1.Micro（Always Free対象）
Python: python3.6
Spleeterインストールまで
ffmpegというものが必要？
頑張って調べるとこのページにたどり着く。
以下コマンドでリポジトリ追加。
$ sudo yum install epel-release
$ sudo dnf install --nogpgcheck https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm
$ sudo dnf install --nogpgcheck https://mirrors.rpmfusion.org/free/el/rpmfusion-free-release-8.noarch.rpm
とりあえずインストールを試すがエラー。
$ sudo yum install ffmpeg ffmpeg-devel
RPM Fusion for EL 8 - Free - Updates 182 kB/s | 290 kB 00:01
エラー:
問題 1: conflicting requests
- nothing provides libSDL2-2.0.so.0()(64bit) needed by ffmpeg-4.2.4-2.el8.x86_64
問題 2: package ffmpeg-devel-4.2.4-2.el8.x86_64 requires libavdevice(x86-64) = 4.2.4-2.el8, but none of the providers can be installed
- package ffmpeg-devel-4.2.4-2.el8.x86_64 requires libavdevice.so.58()(64bit), but none of the providers can be installed
- conflicting requests
- nothing provides libSDL2-2.0.so.0()(64bit) needed by libavdevice-4.2.4-2.el8.x86_64
(インストール不可のパッケージをスキップするには、'--skip-broken' を追加してみてください または、'--nobest' を追加して、最適候補のパッケージのみを使用しないでください)
これも必要っぽい。なんとかインストール成功。
$ sudo dnf install http://rpmfind.net/linux/epel/7/x86_64/Packages/s/SDL2-2.0.14-2.el7.x86_64.rpm
$ sudo yum install ffmpeg ffmpeg-devel
これで良いっぽい？
$ ffmpeg -version
ffmpeg version 4.2.4 Copyright (c) 2000-2020 the FFmpeg developers
built with gcc 8 (GCC)
configuration: --prefix=/usr --bindir=/usr/bin --datadir=/usr/share/ffmpeg --docdir=/usr/share/doc/ffmpeg --incdir=/usr/include/ffmpeg --libdir=/usr/lib64 --mandir=/usr/share/man --arch=x86_64 --optflags='-O2 -g -pipe -Wall -Werror=format-security -Wp,-D_FORTIFY_SOURCE=2 -Wp,-D_GLIBCXX_ASSERTIONS -fexceptions -fstack-protector-strong -grecord-gcc-switches -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1 -specs=/usr/lib/rpm/redhat/redhat-annobin-cc1 -m64 -mtune=generic -fasynchronous-unwind-tables -fstack-clash-protection -fcf-protection' --extra-ldflags='-Wl,-z,relro -Wl,-z,now -specs=/usr/lib/rpm/redhat/redhat-hardened-ld ' --extra-cflags=' ' --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libvo-amrwbenc --enable-version3 --enable-bzlib --disable-crystalhd --enable-fontconfig --enable-frei0r --enable-gcrypt --enable-gnutls --enable-ladspa --enable-libaom --enable-libdav1d --enable-libass --enable-libbluray --enable-libcdio --enable-libdrm --enable-libjack --enable-libfreetype --enable-libfribidi --enable-libgsm --enable-libmp3lame --enable-nvenc --enable-openal --enable-opencl --enable-opengl --enable-libopenjpeg --enable-libopus --enable-libpulse --enable-librsvg --enable-libsrt --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libvorbis --enable-libv4l2 --enable-libvidstab --enable-libvmaf --enable-version3 --enable-vapoursynth --enable-libvpx --enable-libx264 --enable-libx265 --enable-libxvid --enable-libzimg --enable-libzvbi --enable-avfilter --enable-avresample --enable-libmodplug --enable-postproc --enable-pthreads --disable-static --enable-shared --enable-gpl --disable-debug --disable-stripping --shlibdir=/usr/lib64 --enable-libmfx --enable-runtime-cpudetect
libavutil 56. 31.100 / 56. 31.100
libavcodec 58. 54.100 / 58. 54.100
libavformat 58. 29.100 / 58. 29.100
libavdevice 58. 8.100 / 58. 8.100
libavfilter 7. 57.100 / 7. 57.100
libavresample 4. 0. 0 / 4. 0. 0
libswscale 5. 5.100 / 5. 5.100
libswresample 3. 5.100 / 3. 5.100
libpostproc 55. 5.100 / 55. 5.100
spleeterのインストール
とりあえず一回インストール試してみるも失敗？
$ sudo pip3 install spleeter
WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Collecting spleeter
Downloading https://files.pythonhosted.org/packages/fb/2e/5d2cd3d0179d3f749d03eddf0172f1dbababbc371c1b5cbd7fc27d741070/spleeter-2.2.2-py3-none-any.whl (50kB)
100% |████████████████████████████████| 51kB 6.6MB/s
Collecting importlib-resources<5.0.0,>=4.1.1; python_version < "3.7" (from spleeter)
Downloading https://files.pythonhosted.org/packages/e1/44/a4d7387e5207e66e567c04f87b652a9a174335043838ee7f85ef05f28945/importlib_resources-4.1.1-py3-none-any.whl
Collecting importlib-metadata<4.0.0,>=3.0.0; python_version < "3.8" (from spleeter)
Downloading https://files.pythonhosted.org/packages/52/d0/bdb31463f2d9ca111e39b268518e9baa3542ef73ca449b711a7b4da69764/importlib_metadata-3.10.1-py3-none-any.whl
Collecting typer<0.4.0,>=0.3.2 (from spleeter)
Downloading https://files.pythonhosted.org/packages/90/34/d138832f6945432c638f32137e6c79a3b682f06a63c488dcfaca6b166c64/typer-0.3.2-py3-none-any.whl
Collecting numpy<1.19.0,>=1.16.0 (from spleeter)
Downloading https://files.pythonhosted.org/packages/b3/a9/b1bc4c935ed063766bce7d3e8c7b20bd52e515ff1c732b02caacf7918e5a/numpy-1.18.5-cp36-cp36m-manylinux1_x86_64.whl (20.1MB)
100% |████████████████████████████████| 20.1MB 28kB/s
Collecting httpx[http2]<0.17.0,>=0.16.1 (from spleeter)
Downloading https://files.pythonhosted.org/packages/2d/c6/59aa4188e7eddb9e89ec67a51598ca6bfc09f1b38c9b45f7ee45af7a4df4/httpx-0.16.1-py3-none-any.whl (65kB)
100% |████████████████████████████████| 71kB 6.3MB/s
Collecting pandas==1.1.2 (from spleeter)
Downloading https://files.pythonhosted.org/packages/1c/11/e1f53db0614f2721027aab297c8afd2eaf58d33d566441a97ea454541c5e/pandas-1.1.2-cp36-cp36m-manylinux1_x86_64.whl (10.5MB)
100% |████████████████████████████████| 10.5MB 56kB/s
Collecting tensorflow==2.3.0 (from spleeter)
Could not find a version that satisfies the requirement tensorflow==2.3.0 (from spleeter) (from versions: 0.12.1, 1.0.0, 1.0.1, 1.1.0rc0, 1.1.0rc1, 1.1.0rc2, 1.1.0, 1.2.0rc0, 1.2.0rc1, 1.2.0rc2, 1.2.0, 1.2.1, 1.3.0rc0, 1.3.0rc1, 1.3.0rc2, 1.3.0, 1.4.0rc0, 1.4.0rc1, 1.4.0, 1.4.1, 1.5.0rc0, 1.5.0rc1, 1.5.0, 1.5.1, 1.6.0rc0, 1.6.0rc1, 1.6.0, 1.7.0rc0, 1.7.0rc1, 1.7.0, 1.7.1, 1.8.0rc0, 1.8.0rc1, 1.8.0, 1.9.0rc0, 1.9.0rc1, 1.9.0rc2, 1.9.0, 1.10.0rc0, 1.10.0rc1, 1.10.0, 1.10.1, 1.11.0rc0, 1.11.0rc1, 1.11.0rc2, 1.11.0, 1.12.0rc0, 1.12.0rc1, 1.12.0rc2, 1.12.0, 1.12.2, 1.12.3, 1.13.0rc0, 1.13.0rc1, 1.13.0rc2, 1.13.1, 1.13.2, 1.14.0rc0, 1.14.0rc1, 1.14.0, 2.0.0a0, 2.0.0b0, 2.0.0b1)
No matching distribution found for tensorflow==2.3.0 (from spleeter)
pipのバージョンが古いとダメな場合があるようで。とりあえずバージョン上げてみる。
$ sudo pip3 install --upgrade pip
WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.
Collecting pip
Downloading https://files.pythonhosted.org/packages/7c/02/9ab8b431aca1b46fcc1ac830a5870a28a12ba1abfa681904b1d2da876a86/pip-21.2.1-py3-none-any.whl (1.6MB)
100% |████████████████████████████████| 1.6MB 299kB/s
Installing collected packages: pip
Successfully installed pip-21.2.1
今度こそインストールできた。（Warning出てきたがpip直だたきは良くない？python勉強します。）
$ sudo pip3 install spleeter
WARNING: pip is being invoked by an old script wrapper. This will fail in a future version of pip.
Please see https://github.com/pypa/pip/issues/5599 for advice on fixing the underlying issue.
To avoid this problem you can invoke Python with '-m pip' instead of running pip directly.
〜略〜
Successfully installed absl-py-0.13.0 appdirs-1.4.4 astunparse-1.6.3 audioread-2.1.9 cachetools-4.2.2 charset-normalizer-2.0.3 click-7.1.2 contextvars-2.4 dataclasses-0.8 ffmpeg-python-0.2.0 future-0.18.2 gast-0.3.3 google-auth-1.33.1 google-auth-oauthlib-0.4.4 google-pasta-0.2.0 grpcio-1.39.0 h11-0.12.0 h2-3.2.0 h5py-2.10.0 hpack-3.0.0 httpcore-0.12.3 httpx-0.16.1 hyperframe-5.2.0 immutables-0.15 importlib-metadata-3.10.1 importlib-resources-4.1.1 joblib-1.0.1 keras-preprocessing-1.1.2 librosa-0.8.0 llvmlite-0.36.0 markdown-3.3.4 norbert-0.2.1 numba-0.53.1 numpy-1.18.5 oauthlib-3.1.1 opt-einsum-3.3.0 packaging-21.0 pandas-1.1.2 pooch-1.4.0 protobuf-3.17.3 pyasn1-0.4.8 pyasn1-modules-0.2.8 requests-2.26.0 requests-oauthlib-1.3.0 resampy-0.2.2 rfc3986-1.5.0 rsa-4.7.2 scikit-learn-0.24.2 scipy-1.4.1 setuptools-57.4.0 six-1.16.0 sniffio-1.2.0 soundfile-0.10.3.post1 spleeter-2.2.2 tensorboard-2.5.0 tensorboard-data-server-0.6.1 tensorboard-plugin-wit-1.8.0 tensorflow-2.3.0 tensorflow-estimator-2.3.0 termcolor-1.1.0 threadpoolctl-2.2.0 typer-0.3.2 typing-extensions-3.10.0.0 werkzeug-2.0.1 wheel-0.36.2 wrapt-1.12.1 zipp-3.5.0
WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv
$ spleeter --version
Spleeter Version: 2.2.2
とりあえずGitHubのREADMEのクイックスタートに書いてあったサンプルで実際に試してみる。
が、またエラー...
$ wget https://github.com/deezer/spleeter/raw/master/audio_example.mp3
--2021-07-27 21:27:32-- https://github.com/deezer/spleeter/raw/master/audio_example.mp3
github.com (github.com) をDNSに問いあわせています... 140.82.114.3
github.com (github.com)|140.82.114.3|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 302 Found
場所: https://raw.githubusercontent.com/deezer/spleeter/master/audio_example.mp3 [続く]
--2021-07-27 21:27:33-- https://raw.githubusercontent.com/deezer/spleeter/master/audio_example.mp3
raw.githubusercontent.com (raw.githubusercontent.com) をDNSに問いあわせています... 185.199.108.133, 185.199.109.133, 185.199.110.133, ...
raw.githubusercontent.com (raw.githubusercontent.com)|185.199.108.133|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 262867 (257K) [audio/mpeg]
`audio_example.mp3' に保存中
audio_example.mp3 100%[=======================================================================================================>] 256.71K --.-KB/s 時間 0.007s
2021-07-27 21:27:33 (34.9 MB/s) - `audio_example.mp3' へ保存完了 [262867/262867]
$ spleeter separate -p spleeter:2stems -o output audio_example.mp3
Traceback (most recent call last):
File "/usr/local/bin/spleeter", line 8, in <module>
sys.exit(entrypoint())
File "/usr/local/lib/python3.6/site-packages/spleeter/__main__.py", line 256, in entrypoint
spleeter()
File "/usr/local/lib/python3.6/site-packages/typer/main.py", line 214, in __call__
return get_command(self)(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 829, in __call__
return self.main(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 782, in main
rv = self.invoke(ctx)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 1259, in invoke
return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 1066, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/lib/python3.6/site-packages/click/core.py", line 610, in invoke
return callback(*args, **kwargs)
File "/usr/local/lib/python3.6/site-packages/typer/main.py", line 497, in wrapper
return callback(**use_params) # type: ignore
File "/usr/local/lib/python3.6/site-packages/spleeter/__main__.py", line 114, in separate
from .separator import Separator
File "/usr/local/lib/python3.6/site-packages/spleeter/separator.py", line 27, in <module>
from librosa.core import istft, stft
File "/usr/local/lib/python3.6/site-packages/librosa/__init__.py", line 211, in <module>
from . import core
File "/usr/local/lib/python3.6/site-packages/librosa/core/__init__.py", line 5, in <module>
from .convert import * # pylint: disable=wildcard-import
File "/usr/local/lib/python3.6/site-packages/librosa/core/convert.py", line 7, in <module>
from . import notation
File "/usr/local/lib/python3.6/site-packages/librosa/core/notation.py", line 8, in <module>
from ..util.exceptions import ParameterError
File "/usr/local/lib/python3.6/site-packages/librosa/util/__init__.py", line 84, in <module>
from .files import * # pylint: disable=wildcard-import
File "/usr/local/lib/python3.6/site-packages/librosa/util/files.py", line 11, in <module>
import pooch
File "/usr/local/lib/python3.6/site-packages/pooch/__init__.py", line 10, in <module>
from .core import Pooch, create, retrieve
File "/usr/local/lib/python3.6/site-packages/pooch/core.py", line 17, in <module>
import requests
File "/usr/local/lib/python3.6/site-packages/requests/__init__.py", line 43, in <module>
import urllib3
File "/usr/lib/python3.6/site-packages/urllib3/__init__.py", line 8, in <module>
from .connectionpool import (
File "/usr/lib/python3.6/site-packages/urllib3/connectionpool.py", line 11, in <module>
from .exceptions import (
File "/usr/lib/python3.6/site-packages/urllib3/exceptions.py", line 2, in <module>
from .packages.six.moves.http_client import (
ModuleNotFoundError: No module named 'urllib3.packages.six'
No module named 'urllib3.packages.six' でググるとurllib3アップデートするとよい的な情報があったので試してみる。
$ pip3 install -U urllib3
Defaulting to user installation because normal site-packages is not writeable
Requirement already satisfied: urllib3 in /usr/lib/python3.6/site-packages (1.24.2)
Collecting urllib3
Downloading urllib3-1.26.6-py2.py3-none-any.whl (138 kB)
|████████████████████████████████| 138 kB 9.3 MB/s
Installing collected packages: urllib3
WARNING: Value for scheme.platlib does not match. Please report this to <https://github.com/pypa/pip/issues/10151>
distutils: /home/opc/.local/lib/python3.6/site-packages
sysconfig: /home/opc/.local/lib64/python3.6/site-packages
WARNING: Value for scheme.headers does not match. Please report this to <https://github.com/pypa/pip/issues/10151>
distutils: /home/opc/.local/include/python3.6m/urllib3
sysconfig: /home/opc/.local/include/python3.6/urllib3
WARNING: Additional context:
user = True
home = None
root = None
prefix = None
WARNING: Value for scheme.headers does not match. Please report this to <https://github.com/pypa/pip/issues/10151>
distutils: /home/opc/.local/include/python3.6m/UNKNOWN
sysconfig: /home/opc/.local/include/python3.6/UNKNOWN
Successfully installed urllib3-1.26.6
もう一度やったら今度こそ成功...
$ spleeter separate -p spleeter:2stems -o output audio_example.mp3
INFO:spleeter:Downloading model archive https://github.com/deezer/spleeter/releases/download/v1.4.0/2stems.tar.gz
INFO:spleeter:Validating archive checksum
INFO:spleeter:Extracting downloaded 2stems archive
INFO:spleeter:2stems model file(s) extracted
INFO:spleeter:File output/audio_example/vocals.wav written succesfully
INFO:spleeter:File output/audio_example/accompaniment.wav written succesfully
$ ll output/audio_example/
合計 3752
-rw-rw-r--. 1 opc opc 1919406 7月 27 21:39 accompaniment.wav
-rw-rw-r--. 1 opc opc 1919406 7月 27 21:39 vocals.wav
実際の音源で試してみる
StudioOneから対象のパート(バックで他の楽器が流れてしまっているやつ)をmp3でエクスポート。とりあえずscpでサーバーへ送る。
# ローカル環境のmacOSターミナルから
$ scp -i <秘密鍵> *.mp3 opc@<PublicIP>:/home/opc/
Fair_And_Warmer_AS1.mp3 100% 1633KB 82.4KB/s 00:19
Fair_And_Warmer_Tb1.mp3 100% 1633KB 98.8KB/s 00:16
Time_Stream_AS1.mp3 100% 1652KB 165.0KB/s 00:10
Time_Stream_Tb1.mp3 100% 1652KB 134.0KB/s 00:12
こちらやspleeter separate --helpを参考にコマンド試してみるも強制終了...
どうやらメモリ不足のときにそうなることがあるそうで...
$ spleeter separate -o FairAndWarmer_AS1 -p spleeter:5stems Fair_And_Warmer_AS1.mp3
INFO:spleeter:Downloading model archive https://github.com/deezer/spleeter/releases/download/v1.4.0/5stems.tar.gz
INFO:spleeter:Validating archive checksum
INFO:spleeter:Extracting downloaded 5stems archive
INFO:spleeter:5stems model file(s) extracted
強制終了 # 残念...
$ spleeter separate -o TimeStream_Tb1 -p spleeter:5stems Time_Stream_Tb1.mp3
強制終了 # もう少し短い音源でもダメ...
$ spleeter separate -o TimeStream_Tb1 -p spleeter:4stems Time_Stream_Tb1.mp3
INFO:spleeter:Downloading model archive https://github.com/deezer/spleeter/releases/download/v1.4.0/4stems.tar.gz
INFO:spleeter:Validating archive checksum
INFO:spleeter:Extracting downloaded 4stems archive
INFO:spleeter:4stems model file(s) extracted
強制終了 # 分割するアイテム数減らしてもダメ...
たしかにメモリは最大まで使ってしまってるみたいです...
まとめ
残念ながらOCIのAlwaysFreeインスタンスではSpleeterを使うには非力すぎたようです。
Linuxの方がセットアップが簡単だと思ったから挑戦してみましたが、意外とハマりポイントが多い＆結局使えずとあんまりな結果でした。
ただ、コマンドを実行させるところまではいけているので、インスタンスを有料のメモリ多いやつに変更したらたぶん行けるのではないかと思います。
追記
仕方ないのでMacかWindowsで環境作ってリトライするかと思っていたところ、こんな素晴らしい記事＆ツールがあると知りました。ツールの素晴らしさもさることながらGoogle Colaboratoryの存在も初めて知り、とても興味深いなと思いました。いろいろ調べてみよう。
ちなみにこちらのツールで実際に5パートへ分割してみたところ、期待通りの結果は得られず。トレーニングさせることもできるようなので、そうやってやっていくしかないか...
いろいろ調べるきっかけになっていい経験だったなと思うことにしました！