久しぶりに音声処理をしたくなりました。目標はMFCCと呼ばれるメルケプストラム係数で特徴量抽出をすることです(2022/06/12: 達成しました)。

このあたりの記事をググってもPython2系だったりと10年前ぐらいの記事が多いため、新しく記事を書くことにしました。

ここでの実行環境は次の通りです。

Python 3.8.1
Ubuntu 20.04.4 LTS

検証するwaveファイル

ここでは、440Hzのsin波を1秒間だけ再生するwave形式の音声ファイル(440Hz.wav)で検証を行うことにします。ファイルパラメータは次の通りです。

・チャネル数：モノラル
・1サンプルあたりのバイト数：2 byte
・サンプリング周波数：44100 Hz
・再生時間：1秒

【簡単】waveファイルの波形データをnumpy配列に変換

音声処理をするPythonのライブラリの選択肢は多いです。今回はsoundfileを使用します。

import soundfile

fname = "440Hz.wav"
data, fs = soundfile.read(fname) #data:波形データ, fs:サンプリング周波数

理解していれば3行で波形データを抽出できるので使い勝手がよいです。しかし、これで満足してしまうと少々危険です。なぜかというとwaveの音声データから-1~+1に正規化された波形データになるところがブラックボックスになっているためです。

もう少し詳しく調べるには、組込みwaveモジュールを取り扱う必要があります。ただし、多少のバイナリも触れる必要がある。

以下からは、解説記事になります。

【waveモジュール】組込みwaveモジュールでwaveの波形データを詳細に調べる

wave形式に詳しくなければ、一度自分で調べたいところ。その場合は、組込みwaveモジュールが有効です。

まずは、ファイルパラメータを確認してみます。

import wave

fname = "440Hz.wav"
wave_file = wave.open(fname, 'r')

nchannels = wave_file.getnchannels() #チャネル数
print("nchannels: {0}".format(nchannels))
sample_width = wave_file.getsampwidth() #1サンプルサイズのバイト数
print("sample_width: {0} byte".format(sample_width))
fs = wave_file.getframerate() #サンプリングレート
print("fs: {0} Hz".format(fs))
nframes = wave_file.getnframes() #音声データのデータ点数
print("nframe: {0}".format(nframes))

実行結果は次のようになる。

nchannels: 1
sample_width: 2 byte
fs: 44100 Hz
nframe: 44100

もしくは、次のコードでまとめてパラメータを表示させることができる。

params = wave_file.getparams()
print(params)

実行結果は次のようになります。

_wave_params(nchannels=1, sampwidth=2, framerate=44100, nframes=44100, comptype='NONE', compname='not compressed')

さて、本題に移ります。
どのように正規化された波形データを取得するかを調べます。

手順としては、

1. 一度waveファイルのバイナリの波形データを取得する。
2. 16bit符号付き整数型に変換する。
3. -2^15 ~ 2^15 - 1 の範囲でサンプルデータが量子化されているため、戻してあげると-1~+1の範囲で正規化される。

※なぜ16bit符号付き整数にするかは、標準の形式があるらしく、少々奥が深いので割愛します。

import wave
import numpy as np

fname = "440Hz.wav"

wave_file = wave.open(fname, 'r') 
x = wave_file.readframes(wave_file.getnframes()) #waveをバイナリ化 
x = np.frombuffer(x, dtype="int16") / (2**15-1) #16bit符号付き整数型に変換し,-1~1で正規化
print(max(x), min(x))

実行結果は次のようになります。確かに44100サンプルあるデータが-1~+1の範囲に収まっています。

0.999969481490524 -0.999969481490524

このx配列と、soundfileライブラリで取得したdata配列を比較すると、同じ配列になっていることがわかります。ファイルパラメータさえ確認してしまえば、納得しながらsoundfileライブラリで波形データが取得できると思います。

公式ドキュメント

wave --- WAVファイルの読み書き