こんにちは、皆さん。
自分の話す内容はそのままに、声の特徴だけを別の話者へ変える処理が、MacのCPUだけでリアルタイムに動いたら面白そうです。
さて、今日はMeanVCの200 msストリーミングモデルをApple M1 Maxで動かし、処理速度、声の変化、音声の継ぎ目を検証します。
先に結果を書くと、CPU 1スレッドで200 ms分の音声を変換する時間は p95 37.7 ms でした。測定した99区間はすべて次の音声が届くまでに処理を終え、変換後の声も元話者より参照話者に近い特徴になりました。ただし、話し始めから最初の音が出るまでの推定値は約0.28〜0.37秒です。
MeanVCとは
MeanVCは、2025年10月9日に論文が公開された、軽量なストリーミングzero-shot voice conversionモデルです。voice conversionは発話内容を保ちながら声質を変える処理、zero-shotは対象話者ごとの追加学習をせず、参照音声だけで声を指定できることを意味します。
MeanVCは、音声を短い区間に分け、前の区間の情報を引き継ぎながら変換します。MeanFlowを使うことで、ノイズから音声特徴を生成する処理を少ないステップで進められる点も特徴です。今回は公式に公開された200 msモデルを2ステップで動かしました。
使用したMeanVCのコードと学習済みモデルはApache License 2.0です。著作権表示とライセンス文などを維持する条件で、利用、改変、再配布が認められています。内部で使うWavLMの元実装はMIT License、WavLMを読み込むS3PRLはApache License 2.0です。評価専用のECAPA-TDNN ONNXモデルはMIT Licenseです。
モデルの役割とデータの流れ
実際の変換には4つの学習済みモデルを使います。
| モデル | 役割 |
|---|---|
| Fast-U2++ | 元音声から、話している内容の特徴を取り出す |
| WavLM speaker encoder | 参照音声から、対象話者の声の特徴を取り出す |
| MeanFlow DiT | 内容と話者の特徴から、変換後の音声スペクトルを生成する |
| Vocos | 生成したスペクトルを、再生できる波形へ戻す |
データの流れは次のようになります。
参照音声 -> WavLM + mel変換 ---------┐
v
元音声 -> 200 msごと -> Fast-U2++ -> MeanFlow DiT -> Vocos -> 変換音声
変換後の評価だけ:
元音声 / 参照音声 / 変換音声 -> ECAPA-TDNN -> 話者特徴の距離を比較
melは音の高さごとの強さを、人の聴こえ方に近い尺度で並べた表現です。ECAPA-TDNNは変換には関与せず、別のモデルから見ても声が参照話者へ近づいたかを測るためだけに使いました。
今回検証する内容
確認するのは次の3点です。
- 200 msごとの変換を、次の区間が届く前に処理できるか
- 変換音声の話者特徴が、元話者より参照話者へ近づくか
- 200 msの境界に大きな波形の段差ができないか
完全なコード、固定したモデルrevision、SHA-256、JSON形式の測定結果は、kiarina/labsのmeanvc-streaming-apple-silicon labで公開しています。
検証環境の再現
mise、uv、FFmpeg、初回ダウンロード用のインターネット接続が必要です。初回はモデルなど約2.7 GiBを取得します。
git clone --depth 1 --filter=blob:none --sparse \
https://github.com/kiarina/labs.git
cd labs
git sparse-checkout set .mise/tasks 2026/07/19/meanvc-streaming-apple-silicon
mise trust . && mise trust 2026/07/19/meanvc-streaming-apple-silicon
mise -C 2026/07/19/meanvc-streaming-apple-silicon run
変換したWAVと測定結果はoutput/に生成されます。ブラウザから音声ファイルやライブマイクを試す場合は、次を実行します。
mise -C 2026/07/19/meanvc-streaming-apple-silicon run demo
ブラウザ版は、変換したいsource音声と、声質の見本にするtarget音声を指定できます。本検証と同じ合成会話を使うサンプルボタンと、200 msごとにマイク入力を変換するライブモードも用意しました。音声はlocalhost内だけで処理し、外部サービスへアップロードしません。
検証条件
2話者による14.171秒の合成会話から、話者1の3発話、合計6.588秒を元音声にしました。話者2の別の3発話、合計7.583秒を参照音声にしています。同じ発話を元音声と参照音声の両方へ入れてはいません。
主な条件は次のとおりです。
| 項目 | 条件 |
|---|---|
| Mac | MacBook Pro、Apple M1 Max、64 GB |
| 実行 | PyTorch CPU、1スレッド |
| 音声 | 16 kHz、モノラル |
| 区間 | 初回245 ms、以降200 ms |
| MeanFlow | 2ステップ |
| 測定 | 33区間 × 3試行、合計99区間 |
実マイクは使わず、音声ファイルをマイクと同じ順序で少しずつ入力しました。そのため、モデルの計算時間は測れますが、マイク、仮想オーディオデバイス、スピーカーのbufferによる遅延は含みません。
検証結果
200 ms分をp95 37.7 msで変換
| 指標 | 実測値 |
|---|---|
| 200 ms区間の推論時間 p50 | 35.1 ms |
| 200 ms区間の推論時間 p95 | 37.7 ms |
| 200 ms区間の推論時間 p99 | 38.0 ms |
| 最大 | 38.4 ms |
| deadline miss | 0 / 99区間 |
| peak resident memory | 2,849 MB |
p95は、測定値の95%がその値以下だったことを表します。今回なら、大半の200 ms区間を37.7 ms以内で変換できました。次の200 ms分が届くまで約162 msの計算余裕があり、測定中に処理が追いつかなくなる区間はありませんでした。
ただし、最初の音が出るまでには、初回の245 ms入力と推論を待つ必要があります。推定first-output latencyはp50 277 ms、p95 359 ms、最大368 msでした。連続処理には余裕がありますが、20〜100 ms級の低遅延ボイスチェンジャーではありません。
声の特徴は参照話者側へ移動
3つの音声をECAPA-TDNNで192個の数値に変換し、cosine similarityを比較しました。値が1に近いほど、モデルから見た話者特徴が近いことを表します。
| 比較 | 類似度 |
|---|---|
| 元音声 − 参照音声 | 0.210 |
| 変換音声 − 元音声 | 0.320 |
| 変換音声 − 参照音声 | 0.725 |
変換後の声は、元話者より参照話者へ明確に近い結果です。別話者の個別発話同士は平均0.175だったため、0.725は今回のサンプルでは十分に大きな変化でした。
ただし、この数値だけで「本人と同じ声」「自然な声」とは判断できません。音の自然さ、発音の正しさ、聞き手による本人らしさは別の評価が必要です。
200 msの継ぎ目に大きな段差は見つからず
32個の区間境界で、前後のsample値の差を測りました。境界差のp95は0.0462、音声全体にある通常の隣接sample差のp95は0.0567でした。境界だけが一貫して大きくなる傾向は見つかりませんでした。音割れしたsampleも0%です。
これは波形上の確認であり、click noiseを人が聴いて採点した結果ではありません。
結果を簡単に読む
-
M1 MaxのCPUだけで、音声の到着より速く変換できました。
200 ms分の音声を約35〜38 msで処理でき、99区間すべてで間に合いました。配信やオンライン会議のように、少し遅れて変換音声を出す用途では成立する計算速度です。
-
声は参照話者の方向へ変わりました。
別の話者判定モデルで測っても、変換音声は元話者より参照話者に近い特徴でした。ただし、自然さや発音品質まで良いと証明したわけではありません。
-
「リアルタイム処理」と「遅延を感じない」は別です。
連続処理は十分に速い一方、最初の出力には約0.28〜0.37秒かかります。自分の声をヘッドホンで直接monitorする用途では、遅れを強く感じる可能性があります。
日本語で使うときの注意
MeanVCの論文では、変換モデルを主にMandarin音声で学習し、内容を取り出すFast-U2++もMandarin中心のWenetSpeechで学習しています。今回の日本語は、論文で性能を確認した中心的な言語条件ではありません。
日本語特有の促音、長音、pitch accentなどを十分に保持できない可能性があります。今回も日本語1入力、1組の話者だけなので、言語差による品質低下を測ったとは結論できません。参照音声も、まずは雑音や反響の少ない単一話者の音声を使うのが安全です。
制限と安全上の注意
- 1本の短い日本語会話、1組の話者だけを評価した
- 実マイクからスピーカーまでの総遅延は測っていない
- 自然さ、明瞭度、発音保持を聴感評価していない
- noise、歌声、笑い、ささやき、長時間動作は試していない
- MPS、ONNX、Core MLではなくPyTorch CPUだけを使った
音声変換には、処理と利用について本人の許可を得た音声だけを使う必要があります。今回使ったのは共有test asset内の合成会話で、実在人物を模倣するモデルは作成していません。
検証後の感想
200 msの入力を待つモデルなので、数字を見る前は処理もかなり重いと予想していました。実際にはCPU 1スレッドでp95 37.7 msまで短く、連続変換の計算余裕は十分でした。独立した話者特徴モデルでも参照話者側への移動を確認できた点は、速度だけのデモで終わらない結果です。
一方、zero-shotの手軽さを支えるWavLMまで含めると、初回取得は約2.7 GiB、メモリは約2.8 GBです。軽量な変換本体だけを見た印象より、実行環境は大きくなります。多少の遅延を許容できるローカルの配信演出や、同意を得た音声によるキャラクターボイスの試作には使えそうです。
