0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

faster-whisperのVAD設定を勘で決めない:発話カバー率を比較するPython実験

0
Posted at

faster-whisperのVAD設定を勘で決めない:発話カバー率を比較するPython実験

TL;DR

vad_filter=True を付ければ、Silero VADが無音区間を除外してくれます。しかし、VADの設定が厳しすぎると短い返事や語尾を落とし、緩すぎると長い無音や環境音までWhisperへ渡します。

一つの設定を感覚で選ぶのではなく、同じ音声を複数プロファイルで処理し、次の値を比較します。

  • セグメント数
  • 発話として残った合計秒数
  • 音声全体に対する発話カバー率
  • 文字数
  • 最初と最後の発話時刻
  • 文字起こし結果のハッシュ

数値だけで正解は決まりませんが、「どの設定がどれだけ音声を削ったか」を再現可能にできます。

VADで調整する3つの値

threshold

音声であると判定するしきい値です。高くすると判定が厳しくなり、雑音を落としやすい一方、小声も消えやすくなります。

min_silence_duration_ms

発話を分割するために必要な無音時間です。短くすると細かく切れ、長くすると前後の発話がまとまりやすくなります。

speech_pad_ms

検出した発話区間の前後へ追加する余白です。語頭・語尾の欠落を減らせますが、隣接する雑音も入りやすくなります。

インストール

python -m pip install faster-whisper

比較スクリプト

同じモデルを一度だけロードし、三つのVADプロファイルを順番に評価します。

from __future__ import annotations

import argparse
import hashlib
import json
import os
import subprocess
import time
from dataclasses import asdict, dataclass
from pathlib import Path

from faster_whisper import WhisperModel


@dataclass(frozen=True)
class VadProfile:
    name: str
    threshold: float
    min_silence_duration_ms: int
    speech_pad_ms: int


PROFILES = [
    VadProfile("loose", 0.35, 800, 500),
    VadProfile("balanced", 0.50, 500, 300),
    VadProfile("strict", 0.65, 250, 150),
]


def media_duration(path: Path) -> float:
    result = subprocess.run(
        [
            "ffprobe", "-v", "error",
            "-show_entries", "format=duration",
            "-of", "default=nw=1:nk=1",
            str(path),
        ],
        check=True,
        capture_output=True,
        text=True,
        encoding="utf-8",
        errors="replace",
    )
    return float(result.stdout.strip())


def merged_seconds(intervals: list[tuple[float, float]]) -> float:
    if not intervals:
        return 0.0
    ordered = sorted(intervals)
    total = 0.0
    start, end = ordered[0]
    for next_start, next_end in ordered[1:]:
        if next_start <= end:
            end = max(end, next_end)
        else:
            total += end - start
            start, end = next_start, next_end
    return total + end - start


def evaluate(
    model: WhisperModel,
    source: Path,
    duration: float,
    profile: VadProfile,
    language: str,
) -> dict:
    started = time.perf_counter()
    segments, info = model.transcribe(
        str(source),
        language=language,
        vad_filter=True,
        vad_parameters={
            "threshold": profile.threshold,
            "min_silence_duration_ms": profile.min_silence_duration_ms,
            "speech_pad_ms": profile.speech_pad_ms,
        },
        condition_on_previous_text=False,
        beam_size=5,
    )

    rows = [
        {
            "start": round(float(s.start), 3),
            "end": round(float(s.end), 3),
            "text": s.text.strip(),
            "avg_logprob": round(float(s.avg_logprob), 4),
            "no_speech_prob": round(float(s.no_speech_prob), 4),
        }
        for s in segments
        if s.text.strip()
    ]
    text = "".join(row["text"] for row in rows)
    speech_seconds = merged_seconds(
        [(row["start"], row["end"]) for row in rows]
    )

    return {
        "profile": asdict(profile),
        "detected_language": info.language,
        "elapsed_seconds": round(time.perf_counter() - started, 3),
        "segment_count": len(rows),
        "speech_seconds": round(speech_seconds, 3),
        "speech_coverage": round(speech_seconds / duration, 4),
        "character_count": len(text),
        "first_speech": rows[0]["start"] if rows else None,
        "last_speech": rows[-1]["end"] if rows else None,
        "text_sha256": hashlib.sha256(text.encode("utf-8")).hexdigest(),
        "segments": rows,
    }


def atomic_json(path: Path, value: dict) -> None:
    tmp = path.with_suffix(path.suffix + ".tmp")
    tmp.write_text(
        json.dumps(value, ensure_ascii=False, indent=2),
        encoding="utf-8",
    )
    os.replace(tmp, path)


def main() -> int:
    parser = argparse.ArgumentParser()
    parser.add_argument("input")
    parser.add_argument("output")
    parser.add_argument("--model", default="small")
    parser.add_argument("--language", default="ja")
    parser.add_argument("--device", default="cpu")
    parser.add_argument("--compute-type", default="int8")
    args = parser.parse_args()

    source = Path(args.input).resolve()
    output = Path(args.output).resolve()
    if not source.is_file():
        parser.error(f"input not found: {source}")
    output.parent.mkdir(parents=True, exist_ok=True)

    duration = media_duration(source)
    if duration <= 0:
        raise RuntimeError("invalid media duration")

    model = WhisperModel(
        args.model,
        device=args.device,
        compute_type=args.compute_type,
    )
    results = [
        evaluate(model, source, duration, profile, args.language)
        for profile in PROFILES
    ]
    report = {
        "source": str(source),
        "duration_seconds": round(duration, 3),
        "model": args.model,
        "results": results,
    }
    atomic_json(output, report)

    for item in results:
        print(
            item["profile"]["name"],
            f'segments={item["segment_count"]}',
            f'coverage={item["speech_coverage"]:.1%}',
            f'chars={item["character_count"]}',
        )
    return 0


if __name__ == "__main__":
    raise SystemExit(main())

実行例です。

python compare_vad.py meeting.m4a output/vad-report.json \
  --model small --device cpu --compute-type int8

結果の読み方

たとえば strict の発話カバー率と文字数が balanced より大きく下がった場合、雑音だけでなく小声や短い相づちも落としている可能性があります。

反対に loose だけ最初の発話が極端に早く、最後の発話が長く伸びる場合は、冒頭・末尾の環境音を音声として残しているかもしれません。

ただし、次のような判断はできません。

  • 文字数が多いから正確
  • 発話カバー率が高いから正確
  • セグメント数が少ないから読みやすい

VADの指標は「削り方」を見るもので、認識精度そのものではありません。

正解データなしで最低限確認する方法

各プロファイルについて、次の区間を原音と比較します。

  1. 最初の発話
  2. 小声または短い返事
  3. 1秒前後の無音を挟む会話
  4. BGMや空調音がある区間
  5. 最後の発話

語頭・語尾が欠けるなら speech_pad_ms を増やします。発話が細切れなら min_silence_duration_ms を増やします。雑音区間が多ければ threshold を上げます。一度に一つだけ変更すると原因を追いやすくなります。

自前実装しない場合との境界

この実験は、VADやWhisperを自分で運用するチーム向けです。モデル、FFmpeg、GPU、再試行、保存形式まで管理したくない場合は、音声・動画・リンクを入力でき、話者識別、タイムスタンプ、AI要約をまとめて扱えるAudio Converter AIのようなサービスを使うほうが運用コストを抑えられます。

まとめ

VADはオン・オフの二択ではありません。複数プロファイルを同じ音声へ適用し、発話秒数、カバー率、文字数、開始終了時刻を保存すると、設定変更の影響を説明できます。

最後は必ず、小声、短い返事、環境音、語尾を原音で確認してください。数値とサンプル確認を組み合わせることで、勘ではないVAD調整になります。

参考資料

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?