🎧 音声認識の5方式を比べてみた

Flutterで音声メモアプリを作っていて、「マイクの音を文字にする（音声認識）」の段階まで来ました。

ライブラリやモデルを調べていると、説明の中に CTC とか Transducer とか Attention とか、見慣れない言葉がたくさん出てきます。「どれを選べばいいの？」と思って比較記事を読んでも、今度はその記事自体が専門用語だらけで、結局よく分からない……ということが何度もありました。

そこでこの記事では、音声認識の方式（やり方の種類） を整理してみます。

具体的にはこの5つです。

1. CTC 系
2. Attention（エンコーダ・デコーダ）系
3. RNN-T / Transducer 系
4. Hybrid（ハイブリッド）系
5. Whisper / LLM のような Seq2Seq 系

そもそも音声認識は何をしているのか

方式の話に入る前に、土台になる考え方を1つだけ。

マイクで音を録ると、コンピュータの中ではこういう 数字の波 になっています。

音「こんにちは」 →  0.01, 0.08, 0.21, 0.19, -0.05, -0.30, ... （1秒で約16000個の数字）

音声認識がやりたいのは、この 数字の波 を、

「こんにちは」

という 文字の列 に変えることです。たったこれだけ……なのですが、ここに1つ大きな問題があります。

音と文字は、長さも区切りもズレている

人は同じ言葉でも、速く言ったりゆっくり言ったりします。

速く: 「こんにちは」      → 0.5秒
ゆっくり: 「こ〜ん〜に〜ち〜は〜」 → 2.0秒

どちらも文字にすれば同じ「こんにちは」ですが、音の長さは4倍も違う。しかも「こ」がどこからどこまでの音なのか、はっきりした境界線は引かれていません。

音の波:  ［こ こ こ］［ん ん］［に に に に］［ち］［は は は］
                ↑ 同じ「こ」でも、何個ぶんの音になるかは毎回バラバラ
文字:    こ      ん     に       ち    は

つまり音声認識の本当の難しさは、「バラバラの長さの音」と「すっきりした文字の列」を、どうやって対応づけるか にあります。

そして、この対応づけのやり方こそが「方式」の違い です。CTC も Attention も Transducer も、全部「音と文字のズレをどう埋めるか」の作戦の違いだと思ってください。これさえ掴めば、あとの話はぐっと分かりやすくなります。

補足：音から文字を当てる「賢さの本体」のことを モデル と呼びます。モデルは大量の音声と正解テキストを見せて「こういう音はこういう文字になりやすい」を覚え込ませた、いわば経験の塊です。方式の違いは「モデルの中身の作り（設計図）の違い」とも言えます。

方式① CTC 系 ——「一瞬ごとに当てて、あとで整理」

考え方

CTC のやり方はとてもシンプルです。音を細かい時間（一瞬ごと）に区切って、「今この瞬間はどの文字っぽい？」を片っ端から当てていきます。

一瞬ごとの予想:  こ こ こ _ ん ん _ に に _ は は
                                  ↑「_」は「文字なし（無音やつなぎ）」の意味

このままだと「ここ ん に は」みたいに重複だらけです。そこで最後に、

• 同じ文字が続いていたら1個にまとめる（こ こ こ → こ）
• 「_（文字なし）」は消す

という整理をします。すると、

こ こ こ _ ん ん _ に に _ は は  →  こんには  →（実際は「こんにちは」）

と、すっきりした文字列になります。「一瞬ごとに当てて、あとで重複と空白を片付ける」——これが CTC です。

CTC は Connectionist Temporal Classification の略。直訳すると「時間に沿って分類する」。まさに「一瞬ごとに文字を分類していく」やり方そのものの名前です。

得意・不得意

区分	内容
😄 得意	速い・軽い・作りがシンプル。一瞬ごとに独立して当てるので処理がサクサク。スマホのような非力な端末でも動かしやすい
😟 不得意	前後の文脈を見るのが弱い。一瞬ごとに当てるので、「文全体として自然か」をあまり考えない。同音異義語や、文の流れで決まる表記は外しやすい

向いている用途

「とにかく速く・軽く文字にしたい」とき。スマホのオンデバイス（端末内）処理や、組み込み機器など。実は今回実装中のアプリで採用した NeMo のモデルも、この CTC 方式です。 端末の中で素早く動かしたい、という狙いにハマりました。

方式② Attention（エンコーダ・デコーダ）系 ——「ぜんぶ聞いてから書き起こす」

まず2つの言葉だけ

ここで2つだけ言葉を用意します。難しくありません。

• エンコーダ … 音声を聞いて、要点をまとめる係。「この音声には、こういう特徴の音が、この順で並んでいるな」という メモ を作るイメージ。
• デコーダ … そのメモを見ながら、文字を1文字ずつ書き起こす係。

料理でいうと、エンコーダが「材料の下ごしらえ」、デコーダが「それを使って盛り付ける」担当、くらいの分担です。

考え方

Attention 系は、まず 音声を最後までぜんぶ聞いて、エンコーダが要点メモを作ります。そのうえでデコーダが、

1文字目: メモのどこに注目する？ → 文頭あたり → 「こ」
2文字目: メモのどこに注目する？ → 少し後ろ  → 「ん」
3文字目: メモのどこに注目する？ → さらに後ろ → 「に」
...

というふうに、「今この文字を書くには、音声のどのあたりが大事か」を毎回 選びながら 1文字ずつ書いていきます。この「どこに注目するか を選ぶ仕組み」が Attention（注意） です。

CTC が「一瞬ごとに機械的に当てる」のに対し、Attention は「音声全体を見渡して、関係の深いところを参照しながら丁寧に書く」イメージです。だから文として自然になりやすい。

得意・不得意

区分	内容
😄 得意	精度が高い。音声全体を見渡せるので、文脈をふまえた自然な文章になりやすい
😟 不得意	聞き終わるまで書き始められない。「ぜんぶ聞いてから」が前提なので、しゃべっている最中にリアルタイムで出すのが苦手。まとまった区間ごとに処理する＝遅延（待ち時間）が出る

向いている用途

「録音済みの音声を、あとからきれいに文字起こしする」用途。リアルタイム性より精度がほしい場面。次に出てくる Whisper も、この Attention 系の代表 です。

方式③ RNN-T / Transducer 系 ——「聞きながら、その場で出す」

考え方

リアルタイム字幕（テレビの字幕や、しゃべると即座に出る文字起こし）を見たことがあるでしょうか。あれを支えているのが、この Transducer（トランスデューサ） 系です。

CTC や Attention が抱えていた弱点を、ちょうど埋めるような作りになっています。

• CTC … 速いけど、前に出した文字を考慮しない（文脈に弱い）
• Attention … 文脈に強いけど、ぜんぶ聞き終わるまで出せない（遅い）

Transducer は、「音を聞く担当」と「これまで出した文字を覚えている担当」の2人がペアを組んで、

音が来た → これまで「こんに」まで出した → 次は「ち」かな → 出す → 「こんにち」
音が来た → これまで「こんにち」まで出した → 次は「は」かな → 出す → 「こんにちは」

というふうに、音を聞きながら、直前までの文字も踏まえて、その場で次の文字を出していきます。聞き終わるのを待たなくていいのがポイントです。

「RNN-T」の T が Transducer。RNN は「直前までの流れを覚えておく昔ながらの仕組み」のこと（ここは名前だけで十分です）。

得意・不得意

区分	内容
😄 得意	しゃべりながら逐次出せる（低遅延）のに、直前の文字も踏まえるのでそこそこ精度も良い。速度と精度のバランス型
😟 不得意	作りがやや複雑で、学習（モデルを育てる工程）の手間が大きい。ピンポイントの最高精度では Attention 系に一歩譲ることも

向いている用途

ライブ字幕・音声アシスタント・リアルタイム文字起こし。とにかく「しゃべった先から文字が出てほしい」用途の主役です。

方式④ Hybrid（ハイブリッド）系 ——「昔ながらの組み立て」

考え方

ここまでの3つは、わりと最近の（音から文字までを一気にやる）やり方です。一方 Hybrid は、音声認識が古くからやってきた、部品を組み合わせる伝統的なやり方 です。

ざっくり言うと、

音 → ［音の最小パーツを当てる係］ → ［パーツを単語に組み立てる係（辞書・文法のルール）］ → 文字

のように、いくつかの専門の部品を分担させて文字に変換します。「音の最小パーツ」とは、たとえば「k」「o」「n」のような 発音の単位（これを音素と呼びます）のこと。それを辞書や文法のルールと突き合わせて、単語・文に組み立てます。

最近の方式が「全部まとめて1つのモデルで」なのに対し、Hybrid は「役割分担した複数の部品の合作」だと思ってください。

得意・不得意

区分	内容
😄 得意	枯れていて堅実。長年使われてきた実績があり、軽量・ストリーミング向き。辞書を差し替えれば専門用語に強くできるなど、調整の自由度が高い
😟 不得意	部品が多くて作り・調整が複雑。専門知識が要る。データをたくさん使った最新の方式に、総合的な精度では追い抜かれがち

向いている用途

軽量・オフラインで動かしたい組み込み用途や、長年の資産がある現場。オープンソースの Vosk（Kaldi ベース） がこの系統で、軽くてストリーミングできるのが持ち味です。

方式⑤ Whisper / LLM のような Seq2Seq 系 ——「知識で“それっぽい文”を作る」

考え方

最後は、いま一番 精度が高いと言われる系統です。Seq2Seq（シーケンス・トゥ・シーケンス＝「並びを、別の並びに変換する」） という、方式②の Attention を大きく発展させたものです。

代表が、名前を聞いたことがあるかもしれない Whisper（OpenAI）。さらに最近は、LLM（ChatGPT のような大規模言語モデル）と音声をつなげた ものが登場しています。

何が違うかというと、これらは ものすごく大量の音声と文章を学んでいる こと。その結果、ただ音を文字にするだけでなく、

• 「文として自然になるように」整える
• 句読点や、ある程度の言い回しを補う
• 多言語に対応する

といった、“言葉そのものの知識” を使って、それらしい文章に仕上げる のが得意です。単なる聞き取りというより「賢い書記」に近いイメージです。

得意・不得意

区分	内容
😄 得意	精度がトップクラス・多言語に強い・文章が自然。難しい音声でも知識で補ってくれる
😟 不得意	重い・遅い・大きい。モデルが巨大で、計算もたくさん必要。リアルタイムは苦手（Whisper は約30秒のかたまり単位で処理）。スマホ単体で快適に動かすのは厳しいことが多い

向いている用途

精度最優先の文字起こし。多言語・難しい音声。サーバー（クラウド）で動かす前提なら最有力。逆に、非力な端末でリアルタイムに、という用途には向きません。

5方式をならべて比べる

ここまでを1枚の表にまとめます。「◎ ○ △」は優劣ではなく“その用途への向き具合” だと思ってください。

方式	ひとことで	リアルタイム	精度	軽さ（端末向き）	代表例
① CTC	一瞬ごとに当てて整理	○	△〜○	◎	NeMo (Parakeet CTC), wav2vec2
② Attention	ぜんぶ聞いてから書く	△	◎	△	Whisper, Canary
③ Transducer (RNN-T)	聞きながら出す	◎	○	○	Zipformer, Parakeet TDT, Vosk(一部)
④ Hybrid	部品の合作（伝統）	○	○	○	Vosk / Kaldi
⑤ Whisper / LLM系	知識で自然な文に	△	◎◎	△〜×	Whisper, Canary-Qwen

表を眺めて分かるのは、全部の列で ◎ の方式は存在しない ということです。リアルタイムを取れば精度や手軽さで何かを諦め、最高精度を取れば重さを引き受ける——という トレードオフ（あちらを立てればこちらが立たず） になっています。

②と⑤が近いことに気づいたかもしれません。実際 Whisper は「Attention 系を大きく発展させた Seq2Seq」なので、②の延長線上にあります。さらにそこへ LLM の知識を足したのが⑤の最新型、というつながりです。

どう選ぶか —— 3つの質問

「結局どれ？」の答えは、作るものによって変わります。次の3つを自分に聞くと、だいたい絞れます。

Q1. しゃべっている最中に、その場で文字が出てほしい？

• はい（ライブ字幕・音声アシスタントなど） → ③ Transducer。リアルタイムの主役。
• いいえ（後から文字起こしできればいい） → ②⑤ の精度型も候補に入る。

Q2. ネットにつながず、端末の中だけで動かしたい？

• はい（オフライン・プライバシー重視・無料で動かしたい） → ① CTC や ④ Hybrid、軽量な ③ Transducer。軽さが効く。
• いいえ（サーバーに送ってもいい） → ⑤ Whisper / LLM 系でいちばん良い精度を狙える。

Q3. 何より精度がほしい？ それとも速さ・軽さ？

• 精度最優先 → ⑤ Whisper / LLM 系（重さは受け入れる）。
• 速さ・軽さ優先 → ① CTC。
• その中間（バランス） → ③ Transducer。

今回の momeo は「スマホの中だけで（オフライン）・なるべく速く・日本語」が要件でした。Q2 で「端末内」、Q3 で「速さ寄り」になるので、① CTC（NeMo） が素直にハマった、という流れです。クラウドに送れるなら⑤ Whisper を選んでいたかもしれません。要件が違えば答えも変わる、ということです。

まとめ

音声認識の方式がたくさんあって戸惑っていたのですが、土台になる考え方は1つでした。

• 音声認識とは、結局 「バラバラの長さの音」を「すっきりした文字の列」に対応づける 作業。
• その 対応づけのやり方の違い が、CTC / Attention / Transducer / Hybrid / Whisper・LLM 系という方式の違い。

そして、それぞれに性格があります。

• ① CTC … 一瞬ごとに当てて整理。速い・軽い。端末向き。
• ② Attention … ぜんぶ聞いてから書く。精度は高いが待つ。
• ③ Transducer … 聞きながら出す。リアルタイムの主役。
• ④ Hybrid … 部品の合作。堅実だが複雑。
• ⑤ Whisper / LLM 系 … 知識で自然な文に。最高精度だが重い。

いちばん伝えたいのは、「どれが最強か」という問いには答えがないということです。リアルタイムが要るのか、端末で動かすのか、精度と速さのどちらを取るのか——用途を決めて初めて、向いている方式が決まります。

まだ勉強中の身なので、勘違いしている点があればぜひ教えてください 🙏

参考リンク

• Open ASR Leaderboard（精度/速度ベンチ）: https://huggingface.co/blog/open-asr-leaderboard
• sherpa-onnx 事前学習モデル一覧（各方式のモデルが並んでいる）: https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html
• NVIDIA Parakeet / Canary（論文）: https://arxiv.org/pdf/2509.14128
• Vosk（Kaldi ベースの軽量STT）: https://alphacephei.com/vosk/models