RaspberryPi
Julius
音声認識
IoT
ディクテーション

Raspberry Pi+Juliusで音声を認識する

More than 1 year has passed since last update.


はじめに

Raspberry Piにマイクを接続して、話しかけた音声を認識させてみます。

音声認識には国産ツールの「Julius」を使用します。


用意するもの


  • Raspberry Pi 3

  • USBマイク


USBマイクは、マイク付きWebカメラでも利用できます。

ということで、今回はLogicool C300というUSB接続のWebカメラを使います。

https://www.amazon.co.jp/%E3%83%AD%E3%82%B8%E3%82%AF%E3%83%BC%E3%83%AB-C300-%E3%82%A6%E3%82%A7%E3%83%96%E3%82%AB%E3%83%A0/dp/B002J4UAG4


手順

Raspberry Piで音声認識をするにはJuliusの導入のほか、マイク関連の設定が必要にです。大まかな手順は下記の通りです。


  1. USBマイクをRaspberry Piで使う準備をする

  2. 録音のテスト

  3. Juliusをインストールする

  4. Julius音声認識パッケージを取得する

  5. 動作確認


USBマイクをRaspberry Piで使う準備をする


Raspberry PiにUSBマイクを認識させる

Raspberry Pi3と現在(3/28時点)でのRaspbianであれば、Logicool C300はUSBに接続するだけでデバイスを認識します。正しく認識されているかは、下記コマンドで確認できます。


コマンド

lsusb



lsusb実行結果

Bus 001 Device 004: ID 046d:0805 Logitech, Inc. Webcam C300   

Bus 001 Device 003: ID 0424:ec00 Standard Microsystems Corp. SMSC9512/9514 Fast Ethernet Adapter
Bus 001 Device 002: ID 0424:9514 Standard Microsystems Corp. SMC9514 Hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub

上記の実行結果では、「Bus 001 Device 004」で「Logitech, Inc. Webcam C300」と表示されているため、WebカメラがUSBデバイスとして認識されていることがわかります。


USBマイクの優先順位をあげる

Raspberry Pi 3には、Φ3.5オーディオ出力端子が搭載されています。USBにスピーカー/マイクを接続しても、標準のオーディオ出力端子が優先されるため、USB側のスピーカー/マイクを認識してくれません。

これを解決するためには、オーディオデバイスの優先順位を変更する必要があります。

現在の優先順位を確認するには、下記のコマンドを実行します。


コマンド

cat /proc/asound/modules



実行結果

 0 snd_bcm2835

1 snd_usb_audio

実行結果は、左から「優先順位(数値が低いほうが優先順位が高い)」、「デバイス名」の順で表示されます。上記の結果では、USBスピーカー/マイク(snd_usb_audio)がΦ3.5オーディオ出力端子(snd_bcm2835)よりも下であることがわかります。

これを変更するには、/lib/modprobe.d/aliases.confに記載の設定を変更します。

viなどのテキストエディタでファイルをしましょう。(root権限の付与を忘れずに)

sudo vim /lib/modprobe.d/aliases.conf 

ファイル内のoptions snd-usb-audio index=-2という箇所がUSBスピーカー/マイクの設定ですので、こちらの設定を「-2」から「0」を変更します。


変更後の/lib/modprobe.d/aliases.conf

# prevent unusual drivers from appearing as the first sound device ###########

options snd-pcsp index=-2
# options snd-usb-audio index=-2 # USB audio before
options snd-usb-audio index=0 # USB audio after
options cx88_alsa index=-2
options snd-atiixp-modem index=-2
options snd-intel8x0m index=-2
options snd-via82xx-modem index=-2

設定ファイルを保存したら、Raspberry Piを再起動します。再起動後、再度cat /proc/asound/modulesを実行し、下記のように優先順位が変わっていれば、設定変更が有効になっています。


設定変更後のオーディオデバイスの優先順位

 0 snd_usb_audio

1 snd_bcm2835


録音のテスト

Raspberry PiとUSBマイクが正しく動作することを確認するため、USBマイクから音声を録音し、ファイルに保存してみます。

音声の録音はarecordコマンドで実現できますが、arecordコマンドで録音するにはUSBマイクに割り当てられている「カードNo.」と「デバイスNo.」を知る必要があります。それぞれの確認は、arecordコマンドの-lオプションで確認できます。


カードNo.の確認

arecord -l



実行結果

**** List of CAPTURE Hardware Devices ****

card 0: U0x46d0x805 [USB Device 0x46d:0x805], device 0: USB Audio [USB Audio]
Subdevices: 1/1
Subdevice #0: subdevice #0

上記の場合、「card 0」「device 0」と表示されているため、カードNo.、デバイスNo.ともに「0」で認識されているということがわかります。

カードNo.、デバイスNo.がわかったところで、arecordを使って録音した音声をファイルに保存します。録音するコマンドは下記のとおりです。


カードNo.の確認

arecord -D plughw:0,0 test.wav


コマンド実行後、録音待ちの状態になります。マイクに向かって話しかけ、完了したらCtrl+Cを押下して終了します。終了時に、下記のようなメッセージが表示されますが、中断した際に表示されるメッセージですので、問題ありません。

Aborted by signal Interrupt...

arecord: pcm_read:2103: read error: Interrupted system call

録音されたファイル(test.wav)を再生してみましょう。音楽プレイヤーなどのソフトで話しかけた音声を聞くことができれば、成功です。


Juliusのインストール

Juliusは、GitHubよりソースコードを取得し、ビルドすることでバイナリファイルを作成します。

公式ドキュメントにはバイナリパッケージを取得してインストールできるという記載がありますが、Githubで公開されているバイナリパッケージはWindows用のみで、Linuxなどで使用する場合は、ソースコードからコンパイルする必要があります。いずれMac/Linux環境用のバイナリパッケージも配布してほしいですね。


Juliusのソースコードの取得する

GithubのJuliusのサイトからソースコードを取得しましょう。下記のコマンドで取得できます。

mkdir julius

cd julius
wget https://github.com/julius-speech/julius/archive/v4.4.2.1.tar.gz


ソースコードをコンパイルする

下記のコマンドを実行し、ソースコードからバイナリパッケージをコンパイルします。コンパイルには時間がかかりますので、少し待ちましょう。

tar xvzf v4.4.2.1.tar.gz

cd julius-4.4.2.1
./configure
make


Julius音声認識パッケージを取得する

Juliusで音声認識をするためには、音声認識パッケージをインストールする必要があります。音声認識パッケージは公式サイトより取得します。

公式サイトでは用途に応じて複数のパッケージを提供していますが、今回は、一般的な日本語の音声認識であるディクテーションキット(dictation-kit)を使用します。

ディクテーションキットの取得は、下記コマンドで行います。

mkdir ~/julius/julius-kit

cd ~/julius/julius-kit
wget https://osdn.net/dl/julius/dictation-kit-v4.4.zip
unzip dictation-kit-v4.4.zip


その他環境設定


ALSADEV設定でデバイスを固定にする

Juliusを実行する際にもカードNo.、デバイスNo.の情報が必要です。Juliusが常に同じ設定を使用できるように、環境変数として設定しておくと便利です。

Raspberry Piの場合、~/.profileに下記の一文を追加します。


.profile

export ALSADEV="plughw:0,0"


変更を有効にするには、Raspberry Piを再起動、または「source ~/.profile」を実行します。

※この後の手順でRaspberry Piを再起動するため、ここでの再起動上記コマンドの実行は不要です。


/dev/dspを有効にする

JuliusではALSAサウンドドライバのデバイスファイル/dev/dspを使用します。標準では使用できるようになっていないため、下記のコマンドで利用できるようにします。(有効にするために再起動をしています)

sudo modprobe snd-pcm-oss

sudo sh -c "echo snd-pcm-oss >> /etc/modules"
sudo reboot

ここまでで、Juliusの環境構築は完了です。


動作確認

ディクテーションキットの解凍が完了したら、いよいよJuliusを動かします。起動のコマンドは下記のとおりです。

~/julius/julius-4.4.2.1/julius/julius -C ~/julius/julius-kit/dictation-kit-v4.4/main.jconf -C ~/julius/julius-kit/dictation-kit-v4.4/am-gmm.jconf -nostrip

Juliusの起動が成功すると<<< please speak >>>と表示されます。

試しに「こんにちは」とマイクに向かって話しかけてみましょう。

音声認識が成功すると、下記のように表示されます。

pass1_best:  こんにちは 。

pass1_best_wordseq: <s> こんにちは+感動詞 </s>
pass1_best_phonemeseq: silB | k o N n i ch i w a | silE
pass1_best_score: -4168.268555
### Recognition: 2nd pass (RL heuristic best-first)
STAT: 00 _default: 21946 generated, 1540 pushed, 319 nodes popped in 159
sentence1: こんにちは 。
wseq1: <s> こんにちは+感動詞 </s>
phseq1: silB | k o N n i ch i w a | silE
cmscore1: 0.351 0.416 1.000
score1: -4188.954102


おわりに

Juliusの導入は想像以上に簡単にできました。どちらかというと、USBマイクを認識するためにOS側の設定変更のほうが大変でした。

それと、今回使用しているディクテーションキットの認識率ですが、Google Cloud Speech API等に比べると精度は劣るように思います(辞書の精度に大きな差があるのでしょうね)。その分、通信のオーバーヘッドがない分応答速度は早いので、用途に応じて使い分けるということになりそうです。