初めに
Watson Speech to Text では、現在Previous-generationモデル(BroadbandModel, NarrowbandModel)とNext-generation(Multimedia, Telephony)のモデルを提供中ですが、2022年9月15日をもって、日本語とアラビア語を除いてPrevious-generationモデルの提供が終了します。
Next-generationモデルは、Previous-generationモデルよりも認識精度、認識速度があがっているとのことです。
(引用）
IBM Cloud Docs(https://cloud.ibm.com/docs/speech-to-text?topic=speech-to-text-models-ng)
「Next-generation models have higher throughput than the previous-generation models, so the service can return transcriptions more quickly. Next-generation models also provide noticeably better transcription accuracy.」
そこで、実際に認識精度があがっているのか調査してみました。
使用データと認識精度の結果
今回、アメリカ英語と日本語で試してみました。
また、Next-generationはMultimedia、Previous-generationはBroadbandModelを使用しました。
認識精度評価としては、WER(Word Error Rate）を用います。
WERの算出については、以下を参考にさせていただきました。
https://qiita.com/Kchan/items/7bba1f066234ba24898b
英語データ
LibriSpeechのtest-cleanデータ
http://www.openslr.org/12/
日本語データ
Common Voice Corpus 6.1 (日本語)
https://commonvoice.mozilla.org/ja/datasets
※一部数字だけの発言等があるため、それらは除外しました
認識結果
| Next-generation | Previous-generation | |
|---|---|---|
| 英語 | 7.74 | 11.06 |
| 日本語 | 19.49 | 15.17 |
今回使用したデータでは、英語はNext-genrationモデルの方が、精度が良かったですが、
日本語では、Previous-generationの方が、精度が良いという結果になりました。
日本語は、Previous-generationを使用続けることが可能なので、場合によっては、
Previous-generationの使用もご検討ください。
Previous-generation から Next-generation への移行について
いくつかの機能（オプション）は、Next-generationでは使用できません。
また、独自のカスタムモデルを使用している場合は、再度、Next-genearionで学習させる必要があります。
詳細については、下記ドキュメントをご参照ください。
[IBM Cloud Docs]
https://cloud.ibm.com/docs/speech-to-text?topic=speech-to-text-models-migrate