外国語音声データ(silk形式)をWhisperで音声認識→機械翻訳しよう。
経緯
かつてSkypeが開発した「SILK」形式は、音声通話などで使用されている音声圧縮形式のようです。
今回は、中国で主に使われているSNSアプリ「WeChat」のボイスチャットで、このSILK形式が使われており、それを上手いこと日本語に直せないかと試しました。
手順
- silkファイルをwaveファイルに変換
- waveファイルをwhisperで書き起こし＆英訳
- 英文をEasyNMT + Fugu-MTで和訳
silkファイルをwaveファイルに変換
最初にsilkファイルをwaveファイルに変換します。
変換にはsilk-v3-decoderおよびFFmpegを使用します。
※ 注意 silk-v3-decoderのwindowsバイナリにはマルウェアが含まれています。ソースから自分でコンパイルしてください。
silk2wav.py
import subprocess, tempfile, os
from pathlib import Path
#ffmpegの実行ファイルが必要なので別途用意
from pydub import AudioSegment
class silkconv:
def __init__(self,osname:str):
#Linux and Windows両対応（コンパイルしたファイル名に合わせる）
if osname == "posix":
self.silkdecoder = "SilkDecoder"
self.ffmpeg = "ffmpeg"
elif osname == "nt":
self.silkdecoder = "SilkDecoder.exe"
self.ffmpeg = "ffmpeg.exe"
def convertSilk(self,infile:Path) -> Path:
#WeChatのボイスチャットデータ(.aud)は、先頭にゴミがついている場合があるので、削除
with open(infile, 'r+b') as bf:
bf.seek(1)
bin = bf.read(8)
if bin == b"#!SILK_V":
infile = self.splitaud(infile)
elif bin != b"!SILK_V3":
return
outfile = Path(str(infile.resolve()) + ".wav")
if outfile.is_file():
return
#まずSilkDecoderでPCMへ変換
pcmfile = self.silk2pcm(outfile)
#ffmpegでpcmからwavファイル作成
pcm = AudioSegment.from_raw(pcmfile,sample_width=2,frame_rate=24000,channels=1)
pcm.export(outfile, bitrate=24000, format="wav")
os.remove(pcmfile)
if outfile.is_file():
return str(outfile)
else: return None
def silk2pcm(self, infile:Path) -> Path:
#silkファイルをTEMPフォルダ内へpcmで書き出し
pcmfile = tempfile._get_default_tempdir() + os.sep + next(tempfile._get_candidate_names())
cmd = []
cmd.append(self.silkdecoder)
cmd.append(str(infile))
cmd.append(pcmfile)
subprocess.run(cmd,stdout=subprocess.DEVNULL,stderr=subprocess.DEVNULL)
return pcmfile
def splitaud(self,f:Path) -> Path:
#バイナリの先頭1byteを削除
with open(f, 'r+b') as bf:
bf.seek(1)
bin = bf.read()
output = f.with_suffix(".aud.silk")
if output.is_file():
return output
with open(output,"wb") as wf:
wf.seek(0)
wf.write(bin)
return output
if __name__ == '__main__':
dir = Path("SILK_DATA_PATH")
sc = silkconv(os.name)
#WeChatのバージョンによって？。拡張子が違ったり、両方あったり・・・
extensions = ['.silk', '.aud']
files = [i for i in dir.glob('**/*.*') if i.suffix in extensions]
for file in files:
wav = sc.convertSilk(file)
print(wav)
wavファイルからWhisperで文字起こし
OpenAIが提供しているWhisperを使用して、文字起こしをします。
今回は、WhisperのCTranslate2を使用した再実装であるFaster Whisperを使用します。
※ 試した感じこれが一番早い（GPUも使える）
注意：Faster WhisperでCUDAを使用する場合、CUDA Tool kit やCuDNNが必要です。
別途インストールしてください。
なお、windowsの場合、最低限下記ファイルを抽出して、同一ディレクトリにおけば使用できます。
- cudnn_cnn_infer64_8.dll
- cublasLt64_12.dll
- cublas64_12.dll
- cublas64_11.dll
- cudnn_ops_infer64_8.dll
- cudnn64_8.dll
- zlibwapi.dll
Whisperのインストール
!pip install faster-whisper
whisper.py
from faster_whisper import WhisperModel
from pathlib import Path
import time#翻訳速度測定用
if __name__ == '__main__':
#CUDAを使用する場合は、ビデオメモリに収まる容量のものを選択くしてください。largeは10GB必要
model_name = "large-v2"#tiny,base,small,medium,large-v1
#CUDA使用の場合は、device="cuda"、compute_typeはGPUによって使えるものが違います。
model = WhisperModel(model_name, device="cuda", compute_type="int8", cpu_threads=10)
dir = Path("WAV_DIRECTORY_PATH")
for file in dir.glob("**/*.wav"):
#languageを指定しないと言語自動判別、task="translate"指定で英訳
segments, info = model.transcribe(str(file), beam_size=5, language='zh',task="translate")
t_start = time.perf_counter()
result = []
for seg in segments:
print(seg.text)
result.append(seg.text + "\n")
print(time.perf_counter() - t_start)
#wavと同一階層にtxtを保存(英文)
with open(file.with_suffix(".txt"),"w",encoding="utf-8") as f:
f.writelines(result)
英文を和訳（EasyNMT + fugu-mt）
すでにアップ済みのため「クローズド環境における、お手軽機械翻訳の構築」を参照
結果
中国語の場合、Whisperの誤り率が14.7%と日本語の5.3%よりかなり悪い。
（方言のせいか、声調のせいか・・・、学習データは多そうなのに）
一応、何の話をしているか程度には聞き取れそうだった。
今後
EasyNMTも古いライブラリに依存しているので、随時その部分を改造して更新していこう