今回はST BLE Sensorアプリをカスタマイズして、MEMSマイク（音響センサ）を使ったアプリを作成してみます。カスタム・アプリはExpert Modeで作成可能です。Expert modeの概要については前回記事を参照してください。
小型IoT端末開発キット「SensorTile.box」 をセンサ･アプリで使ってみた③ 振動FFT
SensorTile.boxのセットアップ方法および基本情報についてはこちらの記事を参照してください。
小型IoT端末開発キット「SensorTile.box」 をセンサ･アプリで使ってみた① セットアップと使い方
1．MEMSマイク（音響センサ）
SensorTile.boxには、アナログMEMSマイク（MP23ABS1）が搭載されています。今回はこちらのマイクを使用します。
MEMSマイクには “デジタル” と “アナログ” がありますが、これはインタフェースの違いで基本的に中身の構造は同じです。SensorTile.box内のマイクはアナログ･インタフェース･タイプなので、STM32マイコン側との入力接続ポートとしてはADCポート（ADコンバータ）を使用しています。また、マイクとの間にオペアンプが必要です。いわゆる一般的なコンデンサ･マイクと同じ接続方法になります。
2．サウンドレベル・モニタ
それでは実際に、MEMSマイクを使ったアプリを作成していきましょう。最初に基本的なサウンドレベル･モニタを作成します。
マイク入力レベルを、リアルタイムにグラフ表示するアプリです。
音声レベルが時間軸ベースにデシベル（dB）で出力されます。1秒間に数十サンプリング程度でグラフプロットされますので、レベルメータ的な使い方ができます。
2-1．セットアップ
以下内容でカスタム･アプリをセットアップしてみます。
・入力センサ: Microphone（MP23ABS1）
・ファンクション: 無し
・出力データ先: Bluetooth®経由でスマホへ
スマホのST BLE Sensorアプリを起動して以下手順でExpert modeに入り、新規アプリ作成用のページに移動します。
入力センサ: Microphone
まずは入力センサとしてMicrophoneを選択します。
念のため詳細設定ページに移動してみると、サンプリング周波数（ここではODR（OUTPUT DATA RATE）と表示）が16000Hzとなっているのがわかります。つまり、取り扱える音の帯域としてはサンプリング周波数の半分の約8kHzより下の周波数帯域が対象になります。ここをクリックしても他の数値は選べず、アプリ上では今のところ変更できないようです。
ファンクション: なし
ソフト仕様上、ファンクションは設定しません。
出力: Bluetoothでスマホへ
スマホ側でデータを受信するようにします。最後にアプリ名を入力して保存します。ここでは“mic level”としました。
アプリをアップロード後、スマホとBluetooth接続します。
設定まとめ
| 選択アイテム | 設定内容 | |
|---|---|---|
| Input | Microphone（MP23ABS1） | ODR = 16000Hz（変更不可） |
| Function | 無し | |
| Output | Stream to Bluetooth | Bluetooth経由でスマホへ演算結果送信 |
2-2．動作確認
接続後、Playボタンクリックでプロット開始です。サウンドレベルをリアルタイムで確認できます。右上のメニューからログ保存も可能です。全アプリ共通ですが、グラフプロット動作中にログスタート & ストップ操作をします（グラフ停止中に操作してもログ記録されません）。
ログ保存操作後、スマホ内のSTMicroelectronics>logsフォルダ以下を見ると、csvファイルが保存されていました。
1秒間に30回ほどのサウンドレベル･データ（dB）が送信されてきているようです。このデータレートは変更できません。
補足
このアプリ作成時はファンクションを設定しませんでしたが、サウンドレベルdBを算出するにあたっては、Sound MeteR（SMR） ライブラリを使用しています。関連するサンプルコードは、STM32用オーディオ･プロセッシング･パッケージ「X-CUBE-AUDIO」で提供されているので、興味のある方は参考にしてください。
ちなみに、出力先をFile to SD cardにすると、一般的なPCMオーディオ･ファイルとして記録されました（WAVEファイル / 16bitモノラル、16kHz）。ファンクションを同じ“無し”設定にした場合でも、出力設定によって得られるデータ･タイプが異なりますが、ソフト & ハード仕様によるものと思われます。
マイクを入力として選択した場合、現時点では以下ファンクションを利用できます。冒頭で紹介した「振動FFT」（記事③）の際も経験しましたが、AVG（Average）を選択するとうまく動作しません。
| Function | 機能 | Note |
|---|---|---|
| 無し | SMRライブラリが自動で追加され、サウンドレベルを約30ODRで送信 | 出力設定 = Stream to Bluetooth |
| 無し | 音声データを直接録音（16bitモノラル、16kHz） | 出力設定: = File to SD card |
| ARMA | Auto Regressive Moving Average: 自己回帰移動平均モデル | フィルタ係数設定が難しいため省略 |
| FFT | FFT演算 | この記事でチェック |
| AVG | 平均値 | 動作せず |
| Baby Crying | 赤ちゃん鳴き声検知（AI） | 未検証 |
3．音声FFT
次に音声FFTをグラフ表示させるアプリを作成します。加速度センサを使った振動FFTの時と同じく、SesnorTile.box側でFFT演算を行うので、結果だけをBluetoothで受け取ります。
3-1．セットアップ
以下内容でカスタム･アプリをセットアップしてみます。
・入力センサ: Microphone（MP23ABS1）
・ファンクション: FFT
・出力データ先: Bluetooth経由でスマホへ
サウンドレベル・モニタ作成時と同様に、Expert Modeから新規アプリ作成用のページに移動後、以下手順ですすめていきます。
FFTファンクションのパラメータ（Frequencies to produce）は、いわゆるFFT演算時におけるポイント数です。数字が大きいほど細かい周波数ステップでの出力を得られます。ここではデフォルト値の256のままとします。
Frequencies to produceは以下から選択可能です。
- 16
- 64
- 256 (デフォルト)
- 1024
作成後、アプリ名を入力 & 保存して再接続します。ここでは、“mic fft”としました。
設定まとめ
| 選択アイテム | 設定内容 | |
|---|---|---|
| Input | Microphone（MP23ABS1） | ODR = 16000Hz（変更不可） |
| Function | FFT | Frequencies to produce = 256 --> 16 / 64 / 256 / 1024より選択可能（デフォルトは256) |
| Output | Stream to Bluetooth | Bluetooth経由でスマホへ演算結果送信 |
3-2．動作確認
接続後、すぐにFFTプロット表示を開始します。右上のメニューからログ保存も可能です。
テスト用の音出しにはフリー･ツールのWaveGeneを使いました。パソコンにアンプ付きスピーカを接続し、SensorTile.boxをそばに置いて確認します。
1kHzのSine波音声を出力させてみましたが、およそ1kHzの箇所にピークが出ているのがわかります。
ログを取ってcsvファイルを確認してみると、ピークが出ているのは“992Hz”表記ラベルの箇所でした。
Frequencies to produce = 256とした場合、62.5Hz/stepとなるはずですが（16000/256 = 62.5Hz）、csvログデータ見ると、“Frequency”のカラムは62Hz stepとなっています（小数点を切り下げられている。0から始まり、62ステップで0, 62, 124, 186,...7874Hzまでの128ライン）。
ライン数は合っていますが、ログファイル内の周波数ラベル表記はおそらく違っているものと推測します。実際は62.5ステップで、0, 62.5, 125, 187.5,...7937.5Hzに相当するはずです。“992”（= 62 * 16）についても実際は“62.5 * 16 = 1000Hz”に該当するデータとみて良さそうです。
256設定で記録したログファイルを見る場合は注意してください。
試しにFrequencies to produce = 64として同じようにログを取ってみました。
こちらは16000/64 = 250Hzと割り切れるので、csvファイルの周波数ラベルは合っている模様。
1kHz、2kHz、3kHz、…のSine波音声で同じように試しましたが、こちらの設定ではきっちり合っています。
（以下は2kHz Sine波取り込み時の様子）
4．音声FFT＋周波数検出
FFT結果を利用できる？
比較用ファンクションを追加することで、特定の周波数が一定スレッショルド（しきい値）を越えたかどうかを検出できるようにします。ここではFFT Line Compareを使います。
| Available Function | パラメータ | |
|---|---|---|
| FFT Line Compare | Line to compare, Threshold | ラインポイントで比較 |
| FFT Compare | Name file FFT to compare, Number of lines to compare, Threshold | マスタ･ファイルと比較 |
FFT Compareを利用する場合、比較元のマスタ･ファイル･データが必要です。試しにいくつか保存したファイルを使ってみたところ、正しく比較されているかどうかわからなかったので、今回の記事では省略します。
4-1．セットアップ
先ほど作成したmic fftアプリを再利用します。FFTファンクションの下にもうひとつ比較判定用ファンクション“FFT Line Compare”を追加します。
追加したFFT Line Compareファンクションについて、パラメータを設定します。詳細は後述しますが、テスト用として比較周波数を5kHzに仮設定するためにLine to Compare = “80”と入力します。
最初、Line to Compareの数値をどう設定したらいいか迷いましたが、ここでは「比較する周波数ラインポイント」を設定するようです。Frequencies to produceのところで設定した数値をFFTにおけるサンプリングポイント数と考えると、これと同数の周波数係数（つまり、得たいデータ）が算出されるはずです。
なお、mic fftアプリを流用しているので、このポイント数は256です。周波数ステップはサンプリング周波数を分割していけばいいので、256ポイント設定の場合、16kHz/256 = 62.5Hzごとのラインになります。仮にLine to Compare =”80”とした場合、62.5*80 = 5000、つまり5kHzが比較周波数ポイントになります。
FFTファンクション→Frequencies to produceのところで選択した数値によってこの周波数ポイントは変わるため、少し注意が必要です。
| Frequencies to produce | 1周波数ライン・ステップ Hz | Line to Compare設定範囲 |
|---|---|---|
| 16 | 1000 (16000/16) | 0~7 |
| 64 | 250 (16000/64) | 0~31 |
| 256 | 62.5 (16000/256) | 0~127 |
| 1024 | 15.625 (16000/1024) | 0~511 |
各Frequencies to produceの設定値における比較周波数の目安は以下のテーブルを参考にしてください。
Line to Compare設定
| 比較したい周波数 Hz | FP = 16 | FP = 64 | FP = 256 | FP = 1024 |
|---|---|---|---|---|
| 15.625 | --- | --- | --- | 1 |
| 62.5 | --- | --- | 1 | 4 |
| 250 | --- | 1 | 4 | 16 |
| 1000 | 1 | 4 | 16 | 64 |
| 2000 | 2 | 8 | 32 | 128 |
| 3000 | 3 | 12 | 48 | 192 |
| 4000 | 4 | 16 | 64 | 256 |
| 5000 | 5 | 20 | 80 | 320 |
| 6000 | 6 | 24 | 96 | 384 |
| 7000 | 7 | 28 | 112 | 448 |
| 上限 | 7->7000Hz | 31->7750Hz | 127->7937.5Hz | 511->7984.4Hz |
（FP: Frequencies to produce）
ここでは、全てにおいてサンプリング周波数の半分以降の周波数係数は無視されるので、設定される比較周波数が16k/2 = 8kHzより小さくなる必要があります。つまり上限目安としては、 “選択したFrequencies to produce数値の半分 - 1” となります。
Thresholdの単位はdBです。ここでは便宜的に40dBとします。
設定が終わったら全体セーブして準備完了です。アプリ名を別名にすれば新規アプリとして登録されます。今回は“mic fft comp”としました。続いてアプリをアップロードして再接続しましょう。
設定まとめ
| 選択アイテム | 設定内容 | |
|---|---|---|
| Input | Microphone（MP23ABS1） | （ODR = 16000Hz） |
| Function | FFT | Frequencies to produce = 256 |
| Function | FFT Line Compare | Line to compare = 80, Threshold = 40 |
| Output | Stream to Bluetooth | Bluetooth経由でスマホへ演算結果送信 |
4-2．動作確認
ではさっそく、実際に音を出して試してみます。
信号波形はSine波とし、周波数を1kHz、2kHz・・・と変えながらチェックすると、5kHzの時に正しく反応しました。
次に周波数をもう少し細かくスイープさせながら観察したところ、おおよそ±200Hzの範囲で検出できていることがわかりました。
なお、この結果は当然ながらスレッショルドの設定およびSensorTile.Boxをスピーカからどの程度の距離に置くかによっても変動します。
Frequencies to produce = 16、64の場合
FFTのFrequencies to produceを小さくすると、FFTの周波数stepが粗くなります。
Frequencies to produce = 16の場合、およそ±1000Hzくらいの幅で検出されました。例えば4kHzのラインポイントで設定しても、約3kHz～5kHzの音は反応しており、かなりアバウトです。あまりに粗いとおおざっぱな反応になってしまうようです。
出力Sine波を10Hzきざみで調整しながら、それぞれの設定条件で反応する周波数範囲を調べました。
FP = 64と256の時は、（スレッショルドの設定およびスピーカとの距離でも変わるので注意）両設定ともに±200Hz程度の範囲で検出できることが確認できたので、この程度の精度で問題ない用途であれば使えそうです。
1024設定時については、FFTそのものがうまく動作しなかったので今回は省略します。
5．FFTライブラリについて
SensorTile.box内ソフトウェアで処理している今回の音声データ用のFFTは、Arm社から標準規格として用意されているCMCIS-DSPライブラリを利用しています。『小型IoT端末開発キット「SensorTile.box」 をセンサ･アプリで使ってみた③ 振動FFT』で紹介した加速度センサ用に提供されているMotionSPライブラリとは異なるため（MotionXXは加速度センサ用のライブラリ）ご注意ください。
CMCIS-DSP中のFFT関数情報についてはこちら： Complex FFT Function
ちなみに、マイク関連の他の評価キットの中にもFFTを使うものがありますが、こちらの方では上記CMCISライブラリをベースに最適化したコードを使っています。見たところまだヘルプ･ドキュメントは提供されていませんが、興味のある方はソースコードも見てみてください。（X-CUBE-MEMSMIC1）
いかがでしたでしょうか？
引き続きSensorTile.boxを使っていきますが、次回は加速度センサを使った機械学習について試してみます。
小型IoT端末開発キット「SensorTile.box」 を使って機械学習を体験①