🎧 Flutterでsherpa-onnxを触ってみた

Flutterで音声メモアプリのようなものを作ろうとしていて、録音した音声を文字に変える方法を調べていました。

その中で見つけたのが sherpa-onnx です。

最初は「音声認識のライブラリかな？」くらいに思っていたのですが、調べてみると、音声認識だけでなく、VAD、TTS、話者識別、キーワード検出など、音声まわりのAI機能をいろいろ扱えるライブラリでした。

ざっくり言うと、sherpa-onnx は 音声AIモデルをアプリの中で動かすための道具箱 のようなものです。

この記事では、Flutterで sherpa-onnx を使うために調べたことを、初見の人にも分かるように整理してみます。

30秒でいうと

sherpa-onnx は、音声まわりのAI機能をアプリ内で動かすためのライブラリです。

できることは、たとえば以下のようなものです。

• 音声を文字にする
• 話している部分だけを検出する
• 文字を音声で読み上げる
• 誰が話しているかを判定する
• 認識結果に句読点を付ける
• 音声からノイズを減らす

大事なのは、sherpa-onnx 自体がすべての機能を直接持っているというより、音声認識モデルや読み上げモデルなどを動かすための土台になっている、という点です。

ゲーム機本体にソフトを入れて遊ぶように、sherpa-onnx に使いたいモデルを組み合わせることで、音声認識にも、読み上げにも、VADにも使える、というイメージです。

sherpa-onnx って何？

sherpa-onnx は、音声系のAIモデルをオフラインで動かすためのライブラリです。

もう少し具体的に言うと、ONNX という形式のAIモデルを、スマホやPCの中で動かせるようにしてくれるものです。

かなりざっくり整理すると、こんな感じです。

• ONNX は、AIモデルをいろいろな環境で動かしやすくするための共通フォーマット
• sherpa-onnx は、そのONNX形式の音声AIモデルを動かすためのライブラリ
• Flutter から使う場合は、sherpa_onnx というパッケージを使う

なので、sherpa-onnx は「音声を文字にする機能そのもの」というより、音声AIモデルを動かすための実行環境に近いです。

ゲーム機本体とソフトで考えると分かりやすい

個人的には、sherpa-onnx はゲーム機本体のように考えると分かりやすいと思いました。

ゲーム機本体だけがあっても、ゲームはできません。

ゲームをするには、そこにソフトを入れる必要があります。

それと同じで、sherpa-onnx だけを入れても、すぐに日本語の音声認識ができるわけではありません。

別途、音声認識用のAIモデルを用意する必要があります。

イメージとしてはこうです。

たとえ	sherpa-onnx の世界
ゲーム機本体	sherpa-onnx
ゲームソフト	AIモデル
音声認識用のソフト	音声を文字にするモデル
読み上げ用のソフト	文字を音声にするモデル
VAD用のソフト	話している部分を検出するモデル

同じゲーム機でも、入れるソフトによってできることが変わります。

それと同じように、sherpa-onnx も、組み合わせるモデルによってできることが変わります。

日本語の音声認識モデルを使えば、日本語の文字起こしができます。

読み上げ用のモデルを使えば、テキストを音声で読み上げることができます。

VAD用のモデルを使えば、音声の中から「人が話している部分」だけを検出できます。

つまり、sherpa-onnx は、

音声AIモデルを動かすための本体

であり、実際に何をするかは、

どのモデルを使うか

によって決まります。

何ができるのか

sherpa-onnx で扱える音声まわりの機能には、いろいろなものがあります。

代表的なものをざっくり整理すると、こんな感じです。

できること	ざっくり言うと	用途の例
音声認識	音声を文字にする	音声メモ、文字起こし
VAD	話している部分だけを検出する	無音部分を除く、発話ごとに区切る
読み上げ	文字を音声にする	ナビ音声、文章読み上げ
話者識別	この声が誰かを判定する	本人確認、話者の区別
話者ダイアライゼーション	いつ誰が話したかを分ける	会議の議事録
キーワード検出	特定の言葉を検出する	ウェイクワード
言語判定	何語で話しているかを判定する	多言語アプリ
句読点付与	認識結果に句読点を付ける	文字起こし結果を読みやすくする
ノイズ除去	音声から雑音を減らす	録音音声の改善
音タグ付け	音の種類を判定する	拍手、犬の鳴き声などの分類

僕が最初に必要だったのは、主に次の2つでした。

• 音声認識
• VAD

音声認識は、録音した声を文字に変えるために必要です。

VADは、録音した音声の中から「人が話している部分」だけを切り出すために必要です。

たとえば、録音データの中には無音部分や間があります。

それをそのまま音声認識に渡すよりも、

「ここからここまでが1つの発話です」

と切り出してから認識した方が、扱いやすくなります。

この「発話の区切り」を検出するのが VAD です。

僕の場合、音声認識とVADを別々のライブラリで用意する必要があるのかなと思っていたのですが、sherpa-onnx の中で両方扱えそうだと分かりました。

これはかなり便利そうだなと思いました。

オフラインで動くのが大きい

sherpa-onnx の大きな特徴の1つは、オフラインで動かせることです。

つまり、音声データを外部のサーバーに送らずに、スマホやPCの中だけで処理できます。

これは音声アプリではかなり大きいです。

音声データには、個人的な会話やメモが含まれることがあります。

そのため、毎回サーバーに送って処理する方式だと、プライバシーや通信環境が気になります。

一方で、端末内で処理できれば、

• ネットがなくても動く
• 音声データを外に送らなくていい
• API利用料がかからない
• レスポンスが速い場合がある

というメリットがあります。

もちろん、端末の性能やモデルサイズによって制約はあります。

ただ、スマホアプリの中で音声認識やVADを完結できる可能性があるのは、かなり魅力的です。

Flutter で使うには何が必要か

Flutter で sherpa-onnx を使う場合、大きな流れは次の3ステップです。

1. sherpa_onnx パッケージを入れる
2. 使いたいAIモデルを用意する
3. Dartのコードから呼び出す

ここで大事なのは、パッケージを入れるだけでは完結しないということです。

sherpa_onnx パッケージは、あくまでAIモデルを動かすための仕組みです。

実際に日本語の音声認識をしたいなら、日本語音声認識用のモデルを別途用意する必要があります。

この点は、最初に少しハマりやすいところだと思います。

ステップ1：パッケージを入れる

まずは Flutter プロジェクトに sherpa_onnx を追加します。

dependencies:
  sherpa_onnx: ^1.13.2

または、コマンドで追加します。

flutter pub add sherpa_onnx

これで、Flutter から sherpa_onnx を呼び出せるようになります。

ただし、これだけで音声認識ができるわけではありません。

次に、実際に使うモデルを用意する必要があります。

ステップ2：モデルを用意する

sherpa-onnx では、目的に応じてモデルを用意します。

たとえば、

• 日本語の音声認識をしたいなら、日本語音声認識モデル
• VADを使いたいなら、VAD用モデル
• 読み上げをしたいなら、TTS用モデル

が必要になります。

モデルは、公式が配布しているものを使うことができます。

ただし、モデルファイルはサイズが大きいことがあります。

数MBで済むものもあれば、数十MB、数百MBになるものもあります。

そのため、実際のアプリに組み込む場合は、

• アプリに最初から同梱するのか
• 初回起動時にダウンロードするのか
• どのモデルを使うのか
• iOS / Android の両方でどう配置するのか

を考える必要があります。

ここは、実装上かなり重要なポイントになりそうです。

ステップ3：コードから呼び出す

実際のコードでは、ざっくり次のような流れになります。

1. 最初に初期化する
2. どのモデルを使うか設定する
3. 音声データを渡す
4. 結果を受け取る

音声認識の場合、イメージはこんな感じです。

import 'package:sherpa_onnx/sherpa_onnx.dart' as sherpa;

// 最初に1回だけ初期化
sherpa.initBindings();

// 認識器を作る
final recognizer = sherpa.OfflineRecognizer(
  sherpa.OfflineRecognizerConfig(
    model: sherpa.OfflineModelConfig(
      nemoCtc: sherpa.OfflineNemoEncDecCtcModelConfig(
        model: '/path/to/model.int8.onnx',
      ),
      tokens: '/path/to/tokens.txt',
    ),
  ),
);

// 音声データを渡す
final stream = recognizer.createStream();

stream.acceptWaveform(
  samples: samples,
  sampleRate: 16000,
);

recognizer.decode(stream);

// 結果を受け取る
final text = recognizer.getResult(stream).text;

stream.free();

ここでは細かい設定は省略していますが、大まかな流れは、

初期化する → モデルを指定する → 音声を渡す → 結果を受け取る

です。

この流れは、音声認識以外の機能でも似ています。

VADならVAD用のオブジェクトを作り、TTSならTTS用のオブジェクトを作る、という感じです。

VADも同じように使える

僕が特に便利そうだと思ったのは、VADも同じ sherpa-onnx の中で扱えることです。

VADは、音声の中から「人が話している部分」を検出する機能です。

たとえば、録音データが次のようになっていたとします。

無音 → 発話 → 無音 → 発話 → 無音

このとき、VADを使うと、

発話1
発話2

のように、人が話している部分だけを切り出すことができます。

音声認識アプリを作る場合、この機能はかなり重要です。

ずっと録音し続けた音声をそのまま認識にかけるよりも、発話単位で区切って処理した方が扱いやすいからです。

sherpa-onnx では、VAD用のモデルを指定して、次のようなイメージで使えます。

final vad = sherpa.VoiceActivityDetector(
  config: sherpa.VadModelConfig(
    sileroVad: sherpa.SileroVadModelConfig(
      model: '/path/to/silero_vad.onnx',
    ),
  ),
  bufferSizeInSeconds: 30,
);

vad.acceptWaveform(samples);

while (!vad.isEmpty()) {
  final segment = vad.front();
  vad.pop();

  // segment を音声認識に渡す
}

これによって、

録音する → 話している部分を切り出す → 文字にする

という流れを作れます。

音声認識とVADを同じライブラリ内で扱えるのは、構成がシンプルになるのでありがたいです。

実際に試してみた感想

手元の iPhone 15 で、日本語音声認識モデルを入れて試してみました。

まだ軽く触った段階ですが、短い日本語の文章であれば、かなり速く認識されました。

たとえば、

「こんにちは」

のような短い発話は、ほとんど待たずにテキストとして返ってきます。

「僕が話しかけています」

のような文章も、かなり自然に認識されました。

もちろん、これは使うモデルや端末性能、録音環境によって変わると思います。

雑音が多い場所や、長い文章、複数人の会話では、また違う検証が必要です。

ただ、少なくとも、

オフラインでここまで動くのか

という驚きはありました。

実際のアプリで使うときに気になりそうなこと

便利そうな一方で、実際のアプリに組み込むなら考えることも多そうです。

特に気になったのは、次のあたりです。

モデルサイズ

音声認識モデルはサイズが大きくなりがちです。

アプリに同梱すると、アプリ本体のサイズが大きくなります。

一方で、あとからダウンロードする方式にすると、初回起動時の設計やダウンロード管理が必要になります。

端末性能

オフラインで動くということは、処理は端末側で行われます。

そのため、古い端末では処理が重くなる可能性があります。

実際に使うなら、iPhone / Android の複数端末で検証した方が良さそうです。

モデル選び

sherpa-onnx では、目的に応じていろいろなモデルを選べます。

これは便利な反面、最初はどれを選べばいいのか分かりにくいです。

日本語認識に向いているモデル、軽いモデル、精度が高いモデルなど、用途に応じた選定が必要になります。

iOS / Android の配置

Flutterで使う場合でも、モデルファイルをどこに置くか、どう読み込むかは考える必要があります。

開発中はローカルに置けばよくても、本番アプリでは配布方法まで含めて設計する必要があります。

まとめ

sherpa-onnx は、最初に見ると少し分かりにくいライブラリです。

名前もとっつきにくいですし、できることも多いので、初見だと「結局これは何なの？」となりやすいです。

ただ、ざっくり理解すると、かなり便利そうなものだと分かりました。

一言で言うなら、sherpa-onnx は、

音声まわりのAIモデルをアプリの中で動かすための道具箱

です。

音声認識だけではなく、VAD、読み上げ、話者識別、句読点付与、ノイズ除去など、音声に関するいろいろな機能を扱えます。

Flutter から使う場合は、sherpa_onnx パッケージを入れて、使いたいモデルを用意し、コードから呼び出す、という流れになります。

僕自身もまだ検証中ですが、音声メモアプリや文字起こしアプリのようなものを作るなら、かなり有力な選択肢になりそうだと感じました。

特に、

• オフラインで動く
• 音声データを外に送らなくていい
• 音声認識とVADを同じ仕組みで扱える
• Flutter から呼び出せる

という点はかなり魅力的です。

まだ分かっていない部分も多いですが、まずは「Flutterで音声まわりをやるなら、sherpa-onnx は一度見ておく価値がありそう」というのが、現時点での感想です。