主要4社のクラウド音声認識精度の比較

Amazon, Google, IBM, Microsoftの音声認識精度を比較してみました

• 今回使用した音声データは私の研究に関するミーティング(大学院でのゼミ)をAirPodsで録音したものを使用しています．ミーティングの参加者は3~5人です．音声には個人情報も含まれるため公開することはできませんのでご了承ください．
  • データ量:300発言(約27分)
  • 音声の質は生活音やノイズがかなり含まれています．音声の質としては良くないです(CSJなどの音声認識用コーパスに比べて)
• Googleなどの音声認識精度は論文に掲載されているようにかなり良い精度(日本語でもWER一桁)です．
  • 研究用の質の良い音声を使用しているので精度がかなり良い
  • 日常生活での音声に対してはどの程度の認識精度なのかはあまり報告されていない
• 今回は日常生活の中の音声をどれだけの精度で認識できるのかを調べてみました．加えて，研究に関する音声なので専門用語も多く含まれます．どれだけ専門用語に対応しているのかも気になるところです．
• Amazon, Google, IBM, Microsoftの音声認識サービスを使用という記事に書くAPIの使い方をまとめてあるのでよかったら参考にしてください．

認識精度比較

• Amazon, Google, IBM, Microsoftに加えて，Kaldi(CSJ,JNS,S-JNAS,CEJCで学習)での認識精度も載せておきます．

        GCP
        WER: 0.3344722854973424
        CER: 0.2765527007889945

        AWS
        WER: 0.36209150326797385
        CER: 0.2218905472636816

        Azure
        WER: 0.28109824430332464
        CER: 0.21596337579617833

        Watson
        WER: 0.4107744107744108
        CER: 0.29126794258373206

        Kaldi
        WER: 0.616504854368932
        CER: 0.47915630285543725

• 結果からMicrosoftが最も高精度であることがわかりました．Googleが一番良いと思っていたのですが違いました．WERを見ると一番良いMicrosoftでも28%程度であることがわかります．音声の質が良ければWER1桁まで良くなりますが，日常生活の音声ように生活音やノイズの多い環境ではここまで精度が落ちてしまうことがわかりました．しかし，Kaldiは悲惨であることから，GoogleやMicrosoftなどの音声認識器はある程度のノイズに対応できていると思います．

• 一応認識結果の一つを載せておきます

正解文: 近 さ っていう の を 計算 できる ので これ を 使い まし た で 打撃 音 を それぞれ マテリアル ごと に えと 距離行列 に し て さっき の こういう 感じ で 濃度 で 表す っていう の を やり まし た で この 二次元 の マップ に 置き換える っていう の も 一応 やっ て み た ん です けど なんか やる こと に すごい

Google: 近 さ っていう の は 計算 できる ので これ を 使い まし た でも 打撃 音 を それぞれ マテリアル ごと に 距離行列 に し て さっき の こういう 感じ に なり まし た この 2次元 の マップ に 置き換える っていう の も 一応 やっ て み た ん です けど なんか やる こと に すごい

Amazon: 近 さ って いう の を 計算 できる ので これ を 使い まし た で で も 打撃 音 を それぞれ マテリアル ごと に と 距離 行列 に し て さっき の こういう 感じ で ノード で 表わす って いう の が あり ます で この 人間 の マップ に 置き換える って いう の も 一応 やっ ! て み た ん です けど 何 か やる こと に 凄い

Microsoft: 近 さ っていう の を 計算 できる ので これ を 使い まし た ね でも 打撃 音 を それぞれ マテリアル ごと に と 距離行列 に し て さっき の こういう 感じ で 飲ん で 表す っていう の が あり まし た で この 2次元 の マップ に 置き換える っていう の も 1 応 やっ て み た ん です けど なんか やる こと に すごい

IBM:司 って いう の を 計算 できる ので これ を 使い まし た で でも 打撃 音 を それぞれ マテリアル 毎 に 時計 に 行列 に し て さっき の こういう 感じ な の で 表す って 言え ない です ここ の 人間 の マップ に 置き換える って いう の も 一応 やっ て み た ん です けど 何 か やる こと に 凄い

Kaldi: 近 さ っていう の 5 日 計算 できる の で は これ を 使う まし た て ない ので 打撃 音 を それぞれ マテリアル ごと に 除去 林業 率 に対して 7 さっき の 声 感じ 子 ノード で 表す ッティ 名前 話し 下 4 9 2 次元 の の 特に 置き換える っていう の を 一 度 やっ 受け身 た ん です けど 何 か やる こと に 都合 よい