今回はスキャンした資料を使って文字列検索できるようにOCRをしたい。

問題点：販売されている既製OCRが微妙

OCR専門ソフト

既製のものは以下の三つが有力

Panasonicの読取革命（今はソースネクスト） ¥~12,980
メディアドライブのe.Typist ¥~12,980
ソースネクストの本格読取 ¥~3,784
http://monomania.sblo.jp/article/55737163.html

→既製のOCRソフトウエアは高い&Windowsにのみ対応

付属OCR機能

OCR専門ソフトではないが、専門特化した高度なOCRソフトが「機能の1つ」として付属するソフト

Adobe Acrobat DC - ¥~37000
DocuWorks 9 日本語版 - ￥13,500

→どちらも少しお高いので、、

自分で作ってみる。

全体概観

PDF file
↓(pdf2image + poppler)
Image
↓(PyOCR + Tesseract)
Text
↓(PyOCR + Tesseract）
Text only PDF
↓(Qpdf）
PDF with Text

Part 1 Tesseact OCR　の用意

Tesseract OCR はオープンソースの OCR エンジンである。バージョン4は LSTM をサポートしている。

Homebrew を使っている Mac なので brew install tesseract でインストールできる。

tessdata_best のリポジトリから

英語用 eng.traineddata，
日本語用の jpn.traineddata，
日本語縦書き用の jpn_vert.traineddata

をダウンロードし，Homebrew の Tesseract なら /usr/local/Cellar/tesseract/X.X.X/share/tessdata/ に入れる（もともとある eng.traineddata は best 版ではないらしい）。

Tesseractの使い方 - コマンドラインから -

https://github.com/tesseract-ocr/tesseract
例えば hoge.png に入った英語の画像を認識して hoge.txt に入れたい場合：

tesseract hoge.png hoge

認識対象文字が数字に限られている場合：

tesseract hoge.png hoge digits

この digits は /usr/local/Cellar/tesseract/X.X.X/share/tessdata/configs/digits というファイルを指す。この中には tessedit_char_whitelist 0123456789-. と書き込まれている。こういう config ファイルは自分で追加することができる。

言語を指定するには

tesseract hoge.png hoge -l eng   # 英語
tesseract hoge.png hoge -l jpn -c preserve_interword_spaces=1  # 日本語
tesseract hoge.png hoge -l eng+jpn  # 英語と日本語
tesseract hoge.png hoge -l snum  # シリアルナンバー

などとすればよい。対応する *.traineddata が /usr/local/Cellar/tesseract/X.X.X/share/tessdata に入っている必要がある。

Step 2 PythonからOCRを使う

Python用のOCRツールラッパーであるPyOCRをインストールする
pip install pyocr
現在サポートされているOCRツールは以下の３種類。

Libtesseract
Tesseract
Cuneiform

Step 2 PDFを読み込む準備

pdf2image

pip install pdf2image

そのまま使うと以下のエラーに、、
pdf2image.exceptions.PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH?

popplerをbrewでインストールする。
$ brew install poppler

Step 3 PDFを加工する

$ brew install qpdf

参考サイト：
https://askuscs.jp/python/tesseract2

Step 4 いざコードを書く。

試しに以下の厚生労働省の毎月勤労統計調査（平成30年9月分結果速報等）の１ページ目だけを読み取ってみます。

読み取り結果は以下のようになります!
「現金」で検索

Supplemental

from PIL import Image
import sys
import pyocr
import pyocr.builders
from pdf2image import convert_from_path
import re
import subprocess
import os
from pathlib import Path

tools = pyocr.get_available_tools()
tool = tools[0]
langs = tool.get_available_languages()
print("Available languages: %s" % ", ".join(langs))
lang = langs[1]
print("Will use lang '%s'" % (lang))

# 対象PDFファイル名
Nm='vyvo(raw)'

#配置先ディレクトリ
pdf_path = Path("./pdf_file/"+Nm+".pdf")
txt_path = Path("./txt_file/"+Nm + ".txt")
out_path = Path("./pdf_file/output/"+Nm+".pdf") 


# PDF -> pagesにImageとして変換する（300dpi指定）
# dpiは無意味かも
pages = convert_from_path(str(pdf_path),300)

txt=''
for i, page in enumerate(pages):
    txt = txt + tool.image_to_string(page,lang='jpn',builder=pyocr.builders.TextBuilder(tesseract_layout=6))
    txt = re.sub('([あ-んア-ン一-龥ー])\s+((?=[あ-んア-ン一-龥ー]))',r'\1\2', txt)    
    
#テキストファイル出力
s = txt
with open(txt_path, mode='w') as f:
    f.write(s)

#マルチページのTIFFとして保存する
image_dir = Path("./image_file")
tiff_name = pdf_path.stem + ".tif"
image_path = image_dir / tiff_name
to_pdf = pdf_path.stem + "_TO"
topdf_path = image_dir / to_pdf

#既存ファイル削除
if os.path.exists(image_path):
    os.remove(image_path)
if os.path.exists(str(topdf_path)+'.pdf'):
    os.remove(str(topdf_path)+'.pdf')
    
pages[0].save(str(image_path), "TIFF", compression="tiff_deflate", save_all=True, append_images=pages[1:])

#テキストオンリーpdfの生成
cmd = 'tesseract -c page_separator="[PAGE SEPRATOR]" -c textonly_pdf=1 "' + str(image_path) + '" "' +  str(topdf_path) +'" -l jpn pdf'
print(cmd)
returncode = subprocess.Popen(cmd,shell=True )
returncode.wait()

#オリジナルのpdfにtextonlyのpdfをオーバーレイして最小サイズのpdfを生成してみる。qpdfの基本コマンドは以下
#to.pdf＝テキストオンリーpdf　org.pdf＝オリジナルpdf　out.pdf=オーバレイ済pdf
#qpdf --overlay to.pdf -- org.pdf out.pdf
if os.path.exists(out_path):
    print('remove　' + out_path)
    os.remove(out_path)
cmd = 'qpdf --overlay "' + str(topdf_path) + '.pdf" -- "' + str(pdf_path) +'" "' + str(out_path) + '" '
print(cmd)
returncode = subprocess.Popen(cmd,shell=True )
returncode.wait()