結論

「音声を綺麗にする技術」の総称。

ノイズ除去、残響除去、帯域拡張など、音声の品質を向上させるタスク全般を指す。

Speech Enhancement vs 音源分離

┌─────────────────────────────────────────────────────────┐
│                                                         │
│  【Speech Enhancement（音声強調）】                     │
│                                                         │
│  入力: 劣化した音声（ノイズ、残響、帯域制限など）      │
│  出力: クリーンな音声（1つ）                           │
│                                                         │
│  タスク: 「音声 + ノイズ」→「音声」                    │
│                                                         │
│  ────────────────────────────────────────────          │
│                                                         │
│  【Speech Separation（音源分離）】                      │
│                                                         │
│  入力: 複数の音が混ざった音声                          │
│  出力: 分離された個別の音源（複数）                    │
│                                                         │
│  タスク: 「音声A + 音声B」→「音声A」と「音声B」       │
│                                                         │
└─────────────────────────────────────────────────────────┘

図解：何が違う？

【Speech Enhancement（音声強調）】

  🎤 + 🔊雑音 + 🏠残響
       ↓
  ┌─────────────┐
  │ SEモデル    │
  └─────────────┘
       ↓
     🎤 ← クリーンな音声1つ


【Speech Separation（音源分離）】

  🎤A + 🎤B + 🎤C（3人が同時に喋っている）
       ↓
  ┌─────────────┐
  │ SSモデル    │
  └─────────────┘
       ↓
   🎤A  🎤B  🎤C ← 分離された3つの音声

Speech Enhancementのサブタスク

┌────────────────────┬────────────────────────────────────┐
│ サブタスク         │ 説明                               │
├────────────────────┼────────────────────────────────────┤
│ Speech Denoising   │ 背景ノイズの除去                   │
│ （ノイズ除去）     │ エアコン、車、カフェの雑音など     │
├────────────────────┼────────────────────────────────────┤
│ Dereverberation    │ 残響（リバーブ）の除去             │
│ （残響除去）       │ 部屋の反射音を取り除く             │
├────────────────────┼────────────────────────────────────┤
│ Bandwidth Extension│ 帯域拡張                           │
│ （BWE）            │ 電話音声（8kHz）→ 高音質（48kHz） │
├────────────────────┼────────────────────────────────────┤
│ Declipping         │ クリッピング歪みの修復             │
│                    │ 音割れした音声の復元               │
├────────────────────┼────────────────────────────────────┤
│ Packet Loss        │ パケットロスの補完                 │
│ Concealment        │ 通信で欠落した部分を補間           │
├────────────────────┼────────────────────────────────────┤
│ Codec Artifact     │ 圧縮による劣化の修復               │
│ Removal            │ MP3、AACなどの圧縮ノイズ除去       │
└────────────────────┴────────────────────────────────────┘

なぜ今Speech Enhancementが熱いのか

┌─────────────────────────────────────────────────────────┐
│                                                         │
│  【リモートワーク・オンライン会議の爆発的普及】         │
│                                                         │
│  ・Zoom、Teams、Meetの通話品質向上                     │
│  ・在宅勤務の雑音（子供、ペット、工事音）除去          │
│  ・低品質マイクでもクリアな音声                        │
│                                                         │
│  【音声認識（ASR）の前処理として】                     │
│                                                         │
│  ・ノイズが多いと音声認識精度が激落ち                  │
│  ・SEで前処理すると認識率が大幅向上                    │
│  ・Siri、Alexa、Google Assistantの裏側                 │
│                                                         │
│  【補聴器・医療機器】                                   │
│                                                         │
│  ・リアルタイム、低遅延が必須                          │
│  ・省電力で動作する必要がある                          │
│  ・DeepFilterNetなどの軽量モデルが活躍                 │
│                                                         │
└─────────────────────────────────────────────────────────┘

技術的アプローチの変遷

【従来手法（信号処理ベース）】

・スペクトルサブトラクション
・ウィーナーフィルタ
・ビームフォーミング（マルチマイク）

→ 定常ノイズには有効、非定常ノイズに弱い


【深層学習時代（2015年〜）】

・DNN（Deep Neural Network）
・RNN / LSTM / GRU
・U-Net構造

→ 非定常ノイズにも対応、性能大幅向上


【Transformer時代（2020年〜）】

・Self-Attention機構
・Conformer
・Mamba（State Space Model）

→ さらなる性能向上、長い音声への対応


【現在のトレンド（2023年〜）】

・複素スペクトル処理（振幅＋位相）
・Dual-Domain（時間領域＋周波数領域）
・軽量化・リアルタイム化
・Universal SE（複数タスクを1モデルで）

処理ドメイン

┌────────────────┬────────────────────────────────────────┐
│ ドメイン       │ 説明                                   │
├────────────────┼────────────────────────────────────────┤
│ 時間領域       │ 波形をそのまま処理                     │
│ (Time-domain)  │ Conv-TasNet、DEMUCS など               │
├────────────────┼────────────────────────────────────────┤
│ 周波数領域     │ STFT後のスペクトログラムを処理         │
│ (TF-domain)    │ 振幅マスク、複素マスク                 │
├────────────────┼────────────────────────────────────────┤
│ Dual-Domain    │ 両方を組み合わせる                     │
│                │ 最近のSOTAモデルに多い                 │
└────────────────┴────────────────────────────────────────┘

マスク推定 vs 直接推定

【マスク推定（Masking）】

ノイズ入り音声のスペクトログラムに「マスク」を掛けて
ノイズ成分を抑制する。

  ノイズ入りスペクトログラム × マスク = クリーンスペクトログラム

マスクの種類：
・IRM（Ideal Ratio Mask）
・IBM（Ideal Binary Mask）
・cIRM（complex Ideal Ratio Mask）← 位相も考慮


【直接推定（Direct Estimation）】

クリーンな音声を直接予測する。
マスクを介さないので、より柔軟。

  ノイズ入り音声 → モデル → クリーン音声

最近のモデル（MP-SENet等）は振幅と位相を並列で直接推定。

評価指標

┌────────────┬──────────────────────────────────────────┐
│ 指標       │ 説明                                     │
├────────────┼──────────────────────────────────────────┤
│ PESQ       │ Perceptual Evaluation of Speech Quality  │
│            │ 音声品質の主観評価を予測（1.0〜4.5）     │
│            │ ★最も重要な指標★                        │
├────────────┼──────────────────────────────────────────┤
│ STOI       │ Short-Time Objective Intelligibility     │
│            │ 明瞭度（聞き取りやすさ）を評価（0〜1）   │
├────────────┼──────────────────────────────────────────┤
│ SI-SNR     │ Scale-Invariant Signal-to-Noise Ratio    │
│            │ スケール不変のSNR、dB単位               │
├────────────┼──────────────────────────────────────────┤
│ DNSMOS     │ Deep Noise Suppression MOS               │
│            │ Microsoftが開発、参照音声不要            │
│            │ SIG（音声品質）、BAK（背景）、OVL（総合）│
├────────────┼──────────────────────────────────────────┤
│ CSIG/CBAK  │ Composite Measures                       │
│ /COVL      │ 音声品質、背景ノイズ、総合品質           │
└────────────┴──────────────────────────────────────────┘

代表的なベンチマークデータセット

┌─────────────────────┬────────────────────────────────────┐
│ データセット        │ 説明                               │
├─────────────────────┼────────────────────────────────────┤
│ VoiceBank+DEMAND    │ 最も有名なベンチマーク             │
│                     │ 16kHz、約11,000訓練/800テスト      │
│                     │ SOTAモデルの比較に使用             │
├─────────────────────┼────────────────────────────────────┤
│ DNS Challenge       │ Microsoft主催のチャレンジ          │
│                     │ 大規模、多様なノイズ               │
│                     │ 48kHz対応                          │
├─────────────────────┼────────────────────────────────────┤
│ WHAM! / WHAMR!      │ WSJ0Mixにノイズ/残響を追加         │
│                     │ 分離+強調のベンチマーク            │
├─────────────────────┼────────────────────────────────────┤
│ REVERB Challenge    │ 残響除去のベンチマーク             │
│                     │ 実環境録音を含む                   │
└─────────────────────┴────────────────────────────────────┘

現在のSOTAモデル（2024-2025年）

VoiceBank+DEMANDベンチマークでの代表的なモデル：

モデル	PESQ	特徴
MP-SENet	3.60	振幅＋位相を並列推定、Transformer
Mamba-SEUNet	3.59	Mamba（SSM）ベース、軽量
MossFormer2	3.57	Transformer + RNN-free
FRCRN	3.24	周波数リカレンス、軽量
DeepFilterNet3	3.03	超軽量、リアルタイム

→ 各モデルの詳細は個別記事で解説

関連記事

本記事をハブとして、以下の個別モデル解説記事へ：

まとめ

項目	Speech Enhancement	Speech Separation
目的	音声を綺麗にする	混合音を分離する
入力	劣化した音声	複数音源の混合
出力	クリーンな音声（1つ）	分離された音源（複数）
タスク例	ノイズ除去、残響除去	話者分離、楽器分離

語呂合わせ

「SE = 音を"清潔"にする、SS = 音を"整理"する」

Speech Enhancement は清掃（クリーニング）、
Speech Separation は整理（仕分け）。

音声処理シリーズ、お役に立てたらフォローお願いします！