はじめに
OpenCVを使って、いわゆる「間違い探し」をしてみます。
出来たこと
2枚の画像を読み込ませると、間違い（差分）の部分が白く表示されます。
1枚目
2枚目
出力
環境
- macOS: 11.6
- Python: 3.9.5
- opencv-python: 4.5.3.56
- matplotlib: 3.4.3
- jupyter: 1.0.0
実装
ライブラリのインポート
import cv2
import datetime
import matplotlib.pyplot as plt
import numpy as np
import os
画像読み込み
画像を読み込みます。OpenCVはBRGフォーマットなので、RGBへ変換します。
imgA = cv2.imread('img/a.jpg')
imgB = cv2.imread('img/b.jpg')
# OpenCVはBRGフォーマットなので、RGBへ変換する
imgA = cv2.cvtColor(imgA, cv2.COLOR_BGR2RGB)
imgB = cv2.cvtColor(imgB, cv2.COLOR_BGR2RGB)
# 画像サイズを取得
hA, wA, cA = imgA.shape[:3]
hB, wB, cA = imgB.shape [:3]
imgAはこちら。
imgBはこちら。
ちなみに、cvt.Colorしなかった場合の出力はこのような感じ。
特徴点を抽出
# 特徴量検出器を作成
akaze = cv2.AKAZE_create()
# 二つの画像の特徴点を抽出
kpA, desA = akaze.detectAndCompute(imgA,None)
kpB, desB = akaze.detectAndCompute(imgB,None)
特徴点については、私が中途半端なことを書くよりOpenCVのチュートリアルをご覧いただいた方が良いと思います。AKAZEという検出器を使って特徴点を抽出します。imgAの特徴検出結果は以下のようになります。
なんで特徴点を抽出するの？
なんで特徴点抽出などという面倒なことをする必要があるのでしょうか。少し先の話になりますが、間違い探しのために2枚の画像の差分を取ります。しかし、2枚目の画像が微妙に傾いていたり、サイズが違っていたりすると、うまく差分が取れません。
そこで、imgB（2枚目の画像）からimgAと一致する部分を抽出する必要があります。そのために2枚の画像の特徴点を抽出し、特徴点をマッチングする必要があります。
下の例はOpenCVチュートリアルからお借りしたもので、左にあるクッキーの箱か何かの画像を、右の画像の中から検出しています。
特徴点のマッチングと物体検出
# imageBを透視変換する
# 透視変換: 斜めから撮影した画像を真上から見た画像に変換する感じ
# BFMatcher型のオブジェクトを作成する
bf = cv2.BFMatcher(cv2.NORM_HAMMING, crossCheck=True)
# 記述子をマッチさせる。※スキャン画像(B2)の特徴抽出はforループ前に実施済み。
matches = bf.match(desA,desB)
# マッチしたものを距離順に並べ替える。
matches = sorted(matches, key = lambda x:x.distance)
# マッチしたもの（ソート済み）の中から上位★%（参考：15%)をgoodとする。
good = matches[:int(len(matches) * 0.15)]
# 対応が取れた特徴点の座標を取り出す？
src_pts = np.float32([kpA[m.queryIdx].pt for m in good]).reshape(-1,1,2)
dst_pts = np.float32([kpB[m.trainIdx].pt for m in good]).reshape(-1,1,2)
# findHomography:二つの画像から得られた点の集合を与えると、その物体の投射変換を計算する
M, mask = cv2.findHomography(dst_pts, src_pts, cv2.RANSAC,5.0) # dst_img作成の際だけ使う。warpperspectiveの使い方がわかってない。
# imgBを透視変換。
imgB_transform = cv2.warpPerspective(imgB, M, (wA, hA))
この部分はOpenCVチュートリアルからほぼコピペしました。imgB_transformはこのようになります。
わかりにくいのですが、imgBの左端にあった余計な部分が無くなっています。
差分をとる
# imgAとdst_imgの差分を求めてresultとする。グレースケールに変換。
result = cv2.absdiff(imgA, imgB_transform)
result_gray = cv2.cvtColor(result, cv2.COLOR_BGR2GRAY)
# 二値化
_, result_bin = cv2.threshold(result_gray, 50, 255, cv2.THRESH_BINARY) # 閾値は50
2枚の画像の差分を取り、グレースケールに変換し、さらに二値化しました。 result_binは以下のようになります。
このままでも良いのですが、赤枠の箇所に少しノイズが残っています。2枚の画像を重ねているので、どうしてもこういう部分ができてしまいます。
ノイズ除去
# カーネルを準備（オープニング用）
kernel = np.ones((2,2),np.uint8)
# オープニング（収縮→膨張）実行 ノイズ除去
result_bin = cv2.morphologyEx(result_bin, cv2.MORPH_OPEN, kernel) # オープニング（収縮→膨張）。ノイズ除去。
ノイズ除去には良い方法があるような気がしますが、今回はオープニングをしました。（画像処理の講義で習ったなあ）
後処理
# 二値画像をRGB形式に変換し、2枚の画像を重ねる。
result_bin_rgb = cv2.cvtColor(result_bin, cv2.COLOR_GRAY2RGB)
result_add = cv2.addWeighted(imgA, 0.3, result_bin_rgb, 0.7, 2.2) # ２.２はガンマ値。大きくすると白っぽくなる
imgAに先程の画像を重ねます。
右上のコーヒーメーカーに置いてある「カップの取っ手がない」や、コップを置いている「トレー（？）の幅が違う」といった細かいところも一応、検出できています。が、変数の設定が結構シビアです。