最新のOCR・Document AI 4手法の技術解説（Qwen3-VL / GOT-OCR2.0 / DeepSeek-OCR / PP-OCR）

はじめに

TL;DR

• 2026年時点でよく使われるOCR・Document AIの4手法を、それぞれが解こうとした課題という観点から紹介します。
• Qwen3-VLは文書特有の細かい位置関係の把握、GOT-OCR2.0は言語モデルの補完に頼らない記号認識、DeepSeek-OCRは長文脈のトークン圧縮、PP-OCRは軽量・決定論的な処理を扱っています。
• VLMを用いる手法は構造上ハルシネーションを避けられません。一方でPP-OCRのような手法は、生成型モデルの視覚表現だけを知識蒸留で取り込む形で進化しています。

何について書くか

2026年時点で使われている代表的なOCR・Document AIを紹介します。取り上げるのは Qwen3-VL、GOT-OCR2.0、DeepSeek-OCR、PP-OCR の4つです。

本題

最新手法の紹介

Qwen3-VL

課題：VLMにとって文書は特殊な画像です。風景写真なら被写体をおおまかに捉えれば足りますが、文書ではこの数字が何列目の何行目にあるかという位置関係そのものが意味を担います。金額が隣の列にずれれば、内容は同じでも意味は変わってしまいます。

これに対して位置符号化、つまりモデルにこのトークンは画像のどこにあるかを教える仕組みです。従来は、位置情報を高さ・幅・時間の3軸に分けて表現していました。この表現には周波数という概念が使われます。低い周波数はゆっくり変化するのでページ全体の大まかな位置を表すのに向き、高い周波数は細かく変化するので隣り合うセルの微妙な差を表せます。問題は、従来手法がこの周波数帯を軸ごとに区切っていたことです。低周波側を高さ軸に、高周波側を時間軸に、というように分割すると、ある軸には粗い表現しか残りません。文書のように高さ方向にも幅方向にも細かい精度が要る対象では、これが取りこぼしになります。

アプローチ：Qwen3-VLの Interleaved-MRoPE は、周波数帯を軸ごとに区切るのをやめ、全周波数帯を高さ・幅・時間へ交互に割り当てます（Qwen3-VL Technical Report, arXiv:2511.21631）。低周波から高周波までが各軸に行き渡るため、どの方向についても「大まかな位置」と「細かい位置差」の両方を表現できます。表の行と列を同時に、しかも罫線一本の間隔まで区別できる、という状態です。

従来のMRoPE：周波数帯を軸ごとに区切って配分
  低周波 ──────────────────→ 高周波
  [  T T T T ][  H H H H ][  W W W W ]
   時間軸は粗い     高さ軸は中間    幅軸は細かい
   → 各軸が特定の粒度しか持てない

Interleaved-MRoPE：全周波数帯を交互に配分
  低周波 ──────────────────→ 高周波
  [ T H W ][ T H W ][ T H W ][ T H W ]
   → どの軸も粗い〜細かいを一通り持てる

もう一つの DeepStack は、別の取りこぼしに対処する手法です。視覚エンコーダ（ViT）は層を深く進むほど抽象度が上がり、「これは図である」といった意味を掴む代わりに、細かな線や小さな文字といった情報を捨てていきます。最終層だけをデコーダへ渡す通常の構成では、薄い罫線や数式の添字がここで失われてしまいます。DeepStackは浅い層の特徴も併せてデコーダへ供給し、意味の理解と細部の保持を両立させます。

結果：OCR対応言語は10から32へ拡張され、低照度・ぼかし・傾きといった劣化条件下や、希少文字・専門用語での認識精度が向上しました。ネイティブ256Kトークンの文脈長により、複数ページの文書を分割せず一度に処理できます。

GOT-OCR2.0

課題：数式や化学式を読ませるナイーブな方法は、言語モデルを用いて文脈的にありそうな式を補完させることです。しかしこれは視覚的に読み取れていない部分を言語の知識で埋めているだけなので、違う式をハルシネーションする可能性が高いです。

アプローチ：GOT-OCR2.0は、言語側の補完力に頼らず、視覚エンコーダ自体を文章が読めるように学習させるという方針を取りました（Wei et al., 2024, arXiv:2409.01704）。

その狙いが表れているのが学習の第一段階です。ここでは非力な小型デコーダ（OPT-125M）を繋ぎます。強力なデコーダを繋ぐと、視覚側が曖昧な特徴しか出せなくても、言語側が推測で正解を出せてしまいます。そうなると学習の勾配が視覚エンコーダの改善方向に向かいません。デコーダを非力にしておけば誤魔化しが効かず、正しく出力するには視覚特徴を良くするしかない状況が作れます。このようにして視覚エンコーダを学習させてから、第二段階で強力なデコーダへ繋ぎ替え、LaTeXやMarkdown表といった出力形式の書き分けを学習させます。第三段階で高解像度対応などの実用機能を足して完成です。

結果：視覚エンコーダ約80MとQwen-0.5Bを合わせ、全体約580Mパラメータに収まりました。メモリ4GB級のGPUで動く規模でありながら、平文・数式・化学式・表をプロンプトの指示だけで書き分けられます。

DeepSeek-OCR

課題：この論文が立てた問いは、1000語の文書をデコードするのに、視覚トークンは最低何個必要かというものです。背景にあるのはLLMの文脈長の限界です。長い文書をテキストトークンのまま持てばすぐ上限に達しますが、同じ内容を画像として持てば、より少ないトークン数で表現できるのではないかという仮説を検証しようという発想です。

アプローチ：長いテキストを画像へレンダリングし、少数のトークンへ圧縮してLLMへ渡すContexts Optical Compression を提案しました（DeepSeek-OCR, arXiv:2510.18234）。

技術的に重要な点は、圧縮をどの順序で行うかにあります。文書をできるだけ高精度に読むには高解像度が必要ですが、1024×1024の画像は4096個のパッチに分割されます。これを最初からTransformerのAttentionにかけると、計算量がパッチ数の二乗で増えるため膨大な計算時間がかかります。一方で、解像度を下げれば文字が見えにくく、精度高く読むことができません。

DeepEncoderはこれを三段階のアプローチで対応します。最初に、局所的なAttentionで、近傍のパッチだけを見て特徴を抽出します。狭い範囲しか見ないので計算は軽く、文字の形を捉えるには十分です。次に畳み込みでトークン数を圧縮し、4096個を256個まで削ります。そのうえで文章全体にAttentionをかけ、ページ全体の関係を計算します。

結果：検証にはFoxベンチマークが使われました。Foxは領域指定OCRや複数ページOCRなど9つの細粒度サブタスクからなるベンチマークで、テスト文書は1ページあたり千文字を超えるテキストを含みます。

結果として、テキストトークン数が視覚トークン数の10倍以内であれば約97%の精度で復元でき、20倍まで圧縮しても約60%を保ちました。また、多様なPDF文書の解析能力を測るOmniDocBenchでは、わずか100視覚トークンで、1ページ256トークンを使うGOT-OCR2.0を上回っています。処理量はA100単一GPUで1日20万ページ超です。

PP-OCR

概要：PP-OCRは、あえてVLMへ移行せず、検出→認識の多段パイプラインを維持し続けている系統です。PP-OCRv5(PaddleOCR 3.0 Technical Report, arXiv:2507.05595)の検出モデルは、GOT-OCR2.0の視覚エンコーダを教師とする特徴レベルの知識蒸留で鍛えられています。知識蒸留とは、高性能な教師モデルの内部表現を軽量な生徒モデルに模倣させる手法です。ここで蒸留されているのは、GOT-OCR2.0が持つ、文字を捉える視覚表現の特徴のみです。

結果：1億パラメータ未満のモデル群で、数十億パラメータ級のVLMに匹敵する精度と効率を達成したと報告されています。座標をピクセル単位で出力でき、CPUやエッジ端末で動きます。さらに推論コストが予測でき、構造上ハルシネーションが起こりにくくなっています。

まとめ

手法選定は精度も重要ですが、言語モデルを用いたものか否か、それによってハルシネーションのリスクを許容できるかといった点も重要な要件であると感じました。

個人的に興味深かったのは、PP-OCRがVLM型のシステムから視覚表現だけを蒸留している点です。VLMを用いた手法が万能というわけでもなく、従来型OCRを単純に置き換えるという図式では捉えられない動きだと感じました。

もう一点、調べていて気になったのが評価の難しさですね。ベンチマークのスコアは上がり続けているようにみえますが、ハルシネーションのような言語モデル特有の失敗を直接測る指標はまだ確立されていないと思います。実務で導入する際は、公開ベンチマークだけでなく、自分が扱う文書で実測するのが確実だと思いました。

参考

• Wei et al., 2024, General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model, arXiv:2409.01704
• Qwen3-VL Technical Report, 2025, arXiv:2511.21631
• DeepSeek-OCR: Contexts Optical Compression, 2025, arXiv:2510.18234
• PaddleOCR 3.0 Technical Report, 2025, arXiv:2507.05595
• Liu et al., 2024, Focus Anywhere for Fine-grained Multi-page Document Understanding (Fox), arXiv:2405.14295
• Ouyang et al., 2024, OmniDocBench, arXiv:2412.07626

IGSAについて

IGSAは、社会を温かく柔らかく持続的に支えるAIシステムにより、持続可能な幸せを目指す、東京大学松尾・岩澤研究室発のAIカンパニーです。
脳の健康管理アプリ「はなしてね」や、中古品の画像解析SaaS「スグトリ」などのAIプロダクト提供に加え、潜在的な課題に対し柔軟な開発支援を行うパートナー事業を展開。センシングAI技術を活用した状態の定量化と分析により、人の意思決定をサポートしています。