MacでAudioXを試す

AudioXとは

テキスト、動画、画像を入力として、音声や音楽を生成できるAIツールだそうです。

AudioXは、多様なモダリティを跨いだ統一された機能を備えた音声・音楽生成のための革新的な拡散トランスフォーマーモデルです。従来の領域特化型モデルとは異なり、高品質の一般音声と音楽の両方を生成でき、自然言語による柔軟な制御と、テキスト、ビデオ、画像、音楽、音声などの様々なモダリティをシームレスに処理する能力を提供します。その革新性は、モダリティ間で入力をマスクし、モデルにマスクされた入力から学習させる「マルチモーダルマスク学習戦略」にあります。データ不足の問題に対処するため、VGGSoundデータセットに基づく19万件の音声キャプションを含む「vggsound-caps」と、V2Mデータセットから派生した600万件の音楽キャプションを含む「V2M-caps」という2つの包括的なデータセットを構築しました。広範な実験により、AudioXは最先端の専門モデルと同等またはそれ以上のパフォーマンスを発揮するだけでなく、統一されたアーキテクチャ内で多様な入力モダリティと生成タスクを処理する顕著な汎用性を提供することが示されています。
(Claude Sonnet 3.7による要約)

Macで試してみたので、その手順をまとめます。

事前準備

AudioXのREADMEではCondaを使用していますが、ここではuvを使います。
依存ライブラリの中にはコンパイルを要するものがあり、Xcode Command Line Toolsとcmake、ffmpegが必要です。

xcode-select --install
brew install cmake ffmpeg

セットアップ

まず、AudioXのリポジトリをローカルにクローンし作成されたディレクトリに移動します。

git clone https://github.com/ZeyueT/AudioX.git
cd AudioX

リポジトリに含まれるpyproject.tomlは、必要項目が欠けていてuvがエラーになるため削除します。

rm pyproject.toml

次に、Pythonの仮想環境を作成し有効化します。

uv venv
source .venv/bin/activate

残念ながら、依存ライブラリの一つであるdecordがMac用のバイナリを配布していないので、自前でコンパイルする必要があります。
しかも、このライブラリは長い間更新されておらず、最新のffmpegと互換性がありません。
そこで、この問題を修正済みのフォーク版を使用します。

サブモジュールも含めてリポジトリをクローンし、ライブラリをビルドします。

git clone --recursive https://github.com/johnnynunez/decord2.git decord

cd decord
mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make

その後uv pipコマンドでインストールします。

cd ../python
uv pip install .

AudioXリポジトリのルートへ戻って、decord以外の依存ライブラリをインストールします。

cd ../..
sed -i '' "/'decord==0.6.0',/d" setup.py
uv pip install .

推論実行

GradioによるGUIも用意されていますが、今回はREADMEに記載されている推論スクリプトを使用します。
MPSを利用するようにちょっとだけ修正した下記のスクリプトをsample.pyとして保存します。

import torch
import torchaudio
from einops import rearrange
from stable_audio_tools import get_pretrained_model
from stable_audio_tools.inference.generation import generate_diffusion_cond
from stable_audio_tools.data.utils import read_video, merge_video_audio
from stable_audio_tools.data.utils import load_and_process_audio
import os

device = "mps:0" if torch.backends.mps.is_available() else "cpu"

# Download model
model, model_config = get_pretrained_model("HKUSTAudio/AudioX")
sample_rate = model_config["sample_rate"]
sample_size = model_config["sample_size"]
target_fps = model_config["video_fps"]
seconds_start = 0
seconds_total = 10

model = model.to(device)

# for video-to-music generation
video_path = "example/V2M_sample-1.mp4"
text_prompt = "Generate music for the video" 
audio_path = None

video_tensor = read_video(video_path, seek_time=0, duration=seconds_total, target_fps=target_fps)
audio_tensor = load_and_process_audio(audio_path, sample_rate, seconds_start, seconds_total)

conditioning = [{
    "video_prompt": [video_tensor.unsqueeze(0)],        
    "text_prompt": text_prompt,
    "audio_prompt": audio_tensor.unsqueeze(0),
    "seconds_start": seconds_start,
    "seconds_total": seconds_total
}]
    
# Generate stereo audio
output = generate_diffusion_cond(
    model,
    steps=250,
    cfg_scale=7,
    conditioning=conditioning,
    sample_size=sample_size,
    sigma_min=0.3,
    sigma_max=500,
    sampler_type="dpmpp-3m-sde",
    device=device
)

# Rearrange audio batch to a single sequence
output = rearrange(output, "b d n -> d (b n)")

# Peak normalize, clip, convert to int16, and save to file
output = output.to(torch.float32).div(torch.max(torch.abs(output))).clamp(-1, 1).mul(32767).to(torch.int16).cpu()
torchaudio.save("output.wav", output, sample_rate)

if video_path is not None and os.path.exists(video_path):
    merge_video_audio(video_path, "output.wav", "output.mp4", 0, seconds_total)

次のコマンドでスクリプトを実行すると、output.mp4に結果が書き出されます。

uv run sample.py 

なお、初回実行時にはモデルファイルをダウンロードするため、かなり時間がかかります。