Azure Form Recognizer を使って領収書の値を AI に認識させる

今回は Azure Form Recognizer (プレビュー) と Logic Apps を用いて、AI で領収書を分析するシステムを作成します。記事執筆時点では Azure Form Recognizer はプレビュー版となっており、開発チームへ申請することでリソースを作成することができます。

#Form Recognizer の全体像
Form Recognizer のコンセプトは以下 MSDN の Channel 9 に動画がアップロードされています。
Learn about AI-powered robotic process automation with Form Recognizer
https://channel9.msdn.com/Shows/AI-Show/Learn-about-AI-powered-robotic-process-automation-with-Form-Recognizer
データが重要な時代にも関わらず、建設業等では紙で大事なデータを扱っています。Form Recognizer では PDF 等の紙データを AI が分析し、瞬時にデータをデジタル化することができます。(的なコンセプトです)

Form Recognizer は「フォームを解釈し、ドキュメントを抽出できる AI サービス」です。
Form Recognizer プレビュー
https://azure.microsoft.com/ja-jp/services/cognitive-services/form-recognizer/

マイクロソフトドキュメントによると、Form Recognizer は 3 つのサービスから構成されます。

• カスタムモデル
  フォームからキーと値のペアおよびテーブル データを抽出します。 これらのモデルは自分が用意した独自のデータでトレーニングされるため、実際のフォームに合わせて調整されます。

• あらかじめ構成されたレシートモデル
  事前構築済みモデルを使用して米国のレシートからデータを抽出します。
  【補足】
  英語で書かれた米国のレシートを読み取るためのモデルも付属しています。—レストランやガソリン スタンド、小売店などで使用されるタイプのレシートが対象となります。 このモデルでは、取引日時、販売店情報、税金と合計金額などの主要な情報が抽出されます。 さらに、あらかじめ構築されたレシート モデルは、レシート内のすべてのテキストを認識して返すようにトレーニングされています。

• Layout API
  テキストおよびテーブルの構造を、対応する境界ボックスの座標と共にドキュメントから抽出します。
  【補足】
  Form Recognizer は、高精細の光学式文字認識 (OCR) を使用して、テキストやテーブル構造 (テキストが関連付けられた行番号と列番号) を抽出することもできます。

このうちのカスタムモデルでは、ラベルを使用しないトレーニング、ラベルを使用したトレーニングがあります。

• ラベルを使用しないトレーニング
  Form Recognizer は、既定では教師なし学習を使用して、フォーム内のレイアウトを解釈し、フィールドとエントリ間の関係を解釈します。 入力フォームを送信すると、アルゴリズムによって種類別にフォームが分類されて、存在するキーとテーブルが検出されます。また、値がキーに、エントリがテーブルに関連付けられます。 手動によるデータのラベル付けは不要であり、大量のコーディングやメンテナンスも必要ありません。最初は、この方法を試すようお勧めします。

• ラベルを使用したトレーニング
  ラベル付けされたデータによるモデルのトレーニングでは、ラベル付けされた指定のフォームを使用して教師あり学習を行うことで、目的とする値が抽出されます。 こちらの方が、複雑なフォームや、キーのない値を含んだフォームでも機能する性能のよいモデルが得られます。
  Form Recognizer は、印刷されたテキストや手書きのテキストの要素について、Layout API を使用して予想されるサイズや位置を学習します。 その後、ユーザーによって指定されたラベルを使用して、ドキュメントに含まれるキーと値の関係を学習します。 新しいモデルをトレーニングする際はまず、手動でラベル付けされた同じタイプのフォーム 5 つを使用し、そのうえで、モデルの精度を改善するために必要であれば、ラベル付けされたデータを追加することをお勧めします。

今回のデモでは、ラベルを使用しないトレーニングをカスタムモデルを使用します。

#Form Recognizer の利用申請をする
Preview Version のため、Azure アカウントを使って Form Recognizer の利用を申請する必要があります。
https://forms.office.com/Pages/ResponsePage.aspx?id=v4j5cvGGr0GRqy180BHbRyj5DlT4gqZKgEsfbkRQK5xUMjZVRU02S1k4RUdLWjdKUkNRQVRRTDg1NC4u
申請後1,2日で開発チームから承諾メールが届きます。承諾メールの中に、Azure Portal から Form Recognizer をデプロイするためのリンクや、カスタムモデルを構築するためのクイックスタートへのリンクが記載されています。

#必要なリソースを作成する
Form Recognizer の他に必要なリソースは以下の二つです。
Azure Account Storage
Azure Logic Apps

この二つのリソースを下記のチュートリアルに従いながらデプロイします。
Tutorial: Use Form Recognizer with Azure Logic Apps to analyze invoices
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/tutorial-form-recognizer-with-logic-apps

#Logic Apps を準備し、メールを送付する
Logic Apps ではメールを受信したことをトリガーとして、Logic Apps が起動します。

Logic Apps が起動すると、指定したメールアドレスにメールが送付されます。今回は以下のドキュメントを送付しました。

送付し、Form Recognizer で分析した結果、以下の JSON がメールで送付されてきます。

sample.json

[
	{
		"id": "table_0",
		"columns": [
			{
				"header": [
					{
						"text": "Invoice Number",
						"boundingBox": [
							38.5,
							585.2,
							113.4,
							585.2,
							113.4,
							575.8,
							38.5,
							575.8
						]
					}
				],
				"entries": [
					[
						{
							"text": "AC-32322",
							"boundingBox": [
								38.5,
								549.5,
								83.4,
								549.5,
								83.4,
								535.9,
								38.5,
								535.9
							],
							"confidence": 1
						}
					]
				]
			},
			{
				"header": [
					{
						"text": "Invoice Date",
						"boundingBox": [
							139.7,
							585.2,
							198.5,
							585.2,
							198.5,
							575.8,
							139.7,
							575.8
						]
					}
				],
				"entries": [
					[
						{
							"text": "03 March 2018",
							"boundingBox": [
								139.7,
								549.5,
								206.1,
								549.5,
								206.1,
								535.9,
								139.7,
								535.9
							],
							"confidence": 1
						}
					]
				]
			},
			{
				"header": [
					{
						"text": "Invoice Due Date",
						"boundingBox": [
							240.5,
							585.2,
							321,
							585.2,
							321,
							575.8,
							240.5,
							575.8
						]
					}
				],
				"entries": [
					[
						{
							"text": "06 Nov 2019",
							"boundingBox": [
								240.5,
								549.5,
								297,
								549.5,
								297,
								535.9,
								240.5,
								535.9
							],
							"confidence": 1
						}
					]
				]
			},
			{
				"header": [
					{
						"text": "Charges",
						"boundingBox": [
							341.3,
							585.2,
							381.2,
							585.2,
							381.2,
							575.8,
							341.3,
							575.8
						]
					}
				],
				"entries": [
					[
						{
							"text": "$110,153.22",
							"boundingBox": [
								380.6,
								548.7,
								436,
								548.7,
								436,
								535.9,
								380.6,
								535.9
							],
							"confidence": 1
						}
					]
				]
			},
			{
				"header": [
					{
						"text": "VAT ID",
						"boundingBox": [
							442.1,
							590,
							474.8,
							590,
							474.8,
							575.8,
							442.1,
							575.8
						]
					}
				],
				"entries": [
					[
						{
							"text": "RT",
							"boundingBox": [
								447.7,
								549.5,
								461,
								549.5,
								461,
								535.9,
								447.7,
								535.9
							],
							"confidence": 1
						}
					]
				]
			}
		]
	}
]

上のサンプルレシートと照らし合わせると、Invoice Number、Invoice Date、Invoice Due Date、Charges、VAT ID がちゃんと認識されていることが分かります。

これまで人の目で見て人の手で入力していた作業が AI で補うことができるので非常に便利ですね！

#参考 URL
Train without labels
QuickStart: Train a Form Recognizer model and extract form data by using the REST API with cURL
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/curl-train-extract
QuickStart: Train a Form Recognizer model and extract form data by using the REST API with Python
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/python-train-extract
Train with labels
QuickStart: Train a Form Recognizer model with labels using the sample labeling tool
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/label-tool
QuickStart: Train a Form Recognizer model with labels using REST API and Python
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/python-labeled-data
Prebuilt receipts - extract data from USA sales receipts
Quickstart: Extract receipt data using cURL
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/curl-receipts
Quickstart: Extract receipt data using Python
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/python-receipts
Layout - extract text and table structure (row and column numbers) from your documents
Quickstart: Extract layout data using Python
https://docs.microsoft.com/en-us/azure/cognitive-services/form-recognizer/quickstarts/python-layout