OCRがらみの仕事をやっているので、よくお客様から「このOCRの精度は何％なんですか？」と聞かれます。
これは正直あまり意味がない質問で、表題のような現象が起こるのも、平たく言えばその手の意味のない質問にベンダーが苦肉の策で答えようとした結果です。
この記事では、こうした数値の乖離がなぜ起こるのかとともに、OCR導入時に気をつけるべきポイントを解説していきます。
この体重計に乗ると、体重は平均で何キロになりますか？
……という質問に意味がないことは、誰しもすぐにわかると思います。
そんなの誰が乗るかによるよ！ と思いますよね。
OCRの精度も同じで、どんな帳票を読み込ませるかによります。
にもかかわらず、OCRに関わる仕事の現場では、**「そのOCR、精度は何％なんですか？」**という質問が毎日のように飛び交っています。
体重計でいえば、「その体重計にAさんが乗ったら何キロになりましたか？」という具体的な質問であれば、もちろん回答が可能です。
Aさんを乗せて結果を見れば一目瞭然。
OCRも同じで、「そのOCRにこの帳票を読み込ませたときの精度は何％でしたか？」という、具体的な帳票をテストした結果なら回答できますが、それなしに「OCRの精度を教えてください」と尋ねるのは、「体重計の平均体重」を尋ねるのと同じくあまり意味がありません。
ベンダーが公開している精度の数字を鵜呑みにできない理由
そうは言っても、OCRといえばやはり精度が気になるのが人間の性。
ベンダーによっては、ホームページなどで精度を開示している例もあります。
筆者が見た限り、精度を数字で開示している場合は、必ず「当社が選定した帳票によるテスト結果です」などのただし書きがついています。
おそらくベンダー側も「精度の一般的な数値なんて出せないし、出しても意味ないよ……」と思いながら、問い合わせが多いので苦肉の策でそうしたものと思われます。
精度の数値に客観性を持たせるには、業界共通のテスト基準や、それをクリアしているかどうかを判断する第三者機関が必要ですが、OCRに関してはそうした業界標準がありません。
そこで、ベンダーとしては自分たちが得意とする帳票の、得意とする項目でテストをして数値を公開することになります。
ベンダーが数値を開示するためにテストした帳票と条件の異なる帳票を読み込ませれば、当然、結果にも違いは出てきます。
ベンダーのホームページには精度100％と書いてあったのに、実際に試したら70％も出なかった……というような現象は、こうした理由で発生します。
だったら精度100%などとホームページに書くなと思うかもしれませんが、ベンダーからすれば、「じゃあ精度は何％ですかって聞くな」と言いたいところだと思います。
OCR選定の基準は精度だけじゃない
OCRの精度を本当の意味で比較したければ、現状は、自分たちがOCRにかけたい帳票の、OCRでとりたい項目を各社のOCRで読み込ませて比べてみるしかありません。
ですがOCRのベンダーは数が多いので、全社に帳票を配って結果を検証するというのもなかなかの手間になると思います。
OCRの製品を比較する場合には、精度以外にも重要になるポイントがあるので、その点を以下に列挙しておきます。
- 設定の簡単さ
- 補正機能の充実度（傾き補正、ノイズ除去）
- 固定フォーマットのみ対応か、多品種に対応しているか
- 誤りの検知方法
- 起動から検証までのフローや使い勝手（分類やアップロードを手動でする必要があるか、自動でできるか等）
- 価格
例えば多品種フォーマットへの対応が必要な案件であれば、固定フォーマットにしか対応していないOCRの精度がいくら高くても、そのOCRを導入する意味はありません。
補正機能に関しては、帳票をスキャンするときに少しでも位置がズレたり傾いたりするだけで項目がとれなくなるOCRもあれば、傾きやズレを自動補正したり、位置が多少ズレていたりしても項目が取得できるOCRもあります。
また、A社のOCRでは帳票全件を手動でアップロードする必要があり、B社は自動処理が可能だとすると、精度ではB社が劣っていたとしても、業務全体の効率化という意味ではB社製品を採用するのが正解といったケースも考えられます。
こうした精度以外の観点でも、製品をかなり絞り込むことができます。
まとめ
「OCRの精度が何％か」という問いは、「この体重計の平均体重は何キロか」という質問と同じであまり意味がありません。
OCR導入時には、精度以外の機能もよく見て製品を絞り込んだ上で、業務で実際に使いたい帳票・使いたい項目に絞って精度の検証をするのが正解です。