#はじめに
この記事はNoteで連載している記事で扱っているCode部分のみを切り出しています。技術背景等にご興味がある方はNoteの記事の方をご参照ください。
一部のコードは参考文献を基に少し手を加えたものを使用しております。手を加えただけではOriginalityは自分にはないと判断し、Codeは載せておりません（読みにくくて申し訳ございません）。あくまで自分が一から作成した部分のみを今回記載しています。参考文献は非常に勉強になりますしCodeの実装方法に関しても詳しく書かれておりますので是非とも参考にしてください。
#画像の下処理の重要性
機械学習や他の画像処理もそうですか、カメラから得られた画像をそのまま使うことはほぼありません。理由はそのままの素の状態ではノイズや意図しない情報や画像間でのばらつきがあり、それらの影響で意図した結果が得られない可能性が高いからです。そのためいくつかの処理を実施し、ばらつきや意図した結果が得られるようにする必要があります。
#実施する下処理の種類
以下の下処理を順に処理していきます。これらの処理はDark classにまとめています。以下に出てくる関数等は基本的にDark classのMethodとして実装してあります。
<実施する処理>
- Dark shading補正
- Noise処理
- Edge強調処理
- 規定のFormatへ変換し出力
#Dark Shading補正とは
スマホや安いModuleカメラで撮影するとレンズの影響により画像端部分の出力値が落ちてしまいます。このまま画像を使用すると画像端部分が暗いままになるため、あらかじめ画像端部分にGainを印加し、出力を持ち上げる必要があります。この持ち上げる処理のことをDark Shading補正と呼びます。上記の参考資料をもとにDual-Pixel用に加工したものがこちらとなります。
###画像中心からの半径距離抽出
まず初めに、基準となる画像からshadingのプロファイルを抽出しするところから始めます。きちんとした設備で撮影すれば光軸合わせ等ができるのですが、そこまで施設がない場合を想定し、ある程度自由度をもたした関数を作成しました。
def _calc_radials(self, kernel_size: int = 32, \
offset_x: int=0, offset_y: int=0) ->[int]:
''' Calculate radial
Paramters
---------
kernal_size: int
kernel size, default value is 32
offset_x: int
offset value for x-axis, to give the function center positioning flexibility
offset_y: int
offset value for y-axis, to give the function center positioning flexibility
Returns
-------
radials: [int]
radial of each position
'''
radials = []
for y in range(0, self._img_height, kernel_size):
for x in range(0, self._img_width - kernel_size, kernel_size):
# Coreの計算部分は、ほぼ参考資料(p60~)と同じなので参考文献をご参照ください
# この部分は割愛いたします。
# return
return radials
###定義した画像内各ブロックの平均値抽出
次に、基準画像から各ポイントの値を抽出する関数です。参考文献を参照しkernel内部の平均値を計算しています。参考文献と異なる点は、PGM画像はBayer配列ではなく、輝度情報のみなので配列からのData取り出しが簡略化されています。
def _extract_shading_profile(self, img: np.ndarray, kernel_size: int = 32):
''' Extract shading profile from image file
Paramers
---------
img: np.ndarray
Reference image input
kernel_size: int
Kernel size for profile extraction, the number should match with the kernel size in radial calculation
Returns
-------
val: array
extracted profile values
'''
val = [[], [], []]
for y in range(0, self._img_height, kernel_size):
for x in range(0, self._img_width - kernel_size, kernel_size):
# Coreの計算部分は、ほぼ参考資料(p61~)と同じなので参考文献をご参照ください
# この部分は割愛いたします。
return val
###Profileの近似曲線計算
次はRadialsと抽出した基準画像のProfileを用いて、近似曲線を作成します。こちらも参考資料を基に一部改造したものとなります。
def _proximate_shading(self, radials: [int], profiles: []):
''' priximate shading profile from data
Parameters
-----------
radials: [int]
input data of radial
profiles: []
input data of profiles
Returns
-------
'''
# Coreの計算部分は、ほぼ参考資料(p63~)と同じなので参考文献をご参照ください
# この部分は割愛いたします。
###Gain Map計算
ここまで来たらもう少しです。上記の近似計算結果を基に実際のGain mapを作成します。
汎用性を考え、画像全体へのGain印加を加味した作りにしました。稀に暗いところで撮影すると画像全体にAnalog Gainが印加されるのでそれを考慮したものです。
今まで実装してきた関数を呼び出してDataの流れを作り、それらを統合して最終的なGain mapを計算して出力する構成にしています。Leftなのか、Rightなのかを判別しています。理由は後で説明します。
def _gain_map(self, left: bool = True, kernal_size: int=32, \
analog_gain= [1.0, 1.0, 1.0], offset=(0, 0)) -> np.ndarray:
img = self._left_img
if not left:
img = self._right_img
# calculate radials
offset_x, offset_y = offset
radials = self._calc_radials(kernal_size, offset_x=offset_x, offset_y=offset_y)
# extract raw data profiles
profiles = self._extract_shading_profile(img, kernel_size=kernal_size)
# left gain map
self._proximate_shading(radials=radials, profiles=profiles)
# create gain map
return self._create_dksh_gain_map(analog_gain=analog_gain)
色々と実験して分かったのがLeft画像とRgight画像でDark shading用のGain mapを変えない幾つか不具合が発生することです。なのでDark shading処理をする画像がLeftなのかRightなのかを予め指定する必要があります。それを考慮し実装したのが以下となります。
def get_gain_map(self, kernal_size: int=32, analog_gain= [1.0, 1.0, 1.0],
left_offset=(0, 0), right_offset=(0, 0)) -> (np.ndarray, np.ndarray):
# left side gain map
left_gain_map = self._gain_map(left=True, kernal_size=kernal_size, \
analog_gain=analog_gain, offset=left_offset)
# right side gain map
right_gain_map = self._gain_map(left=True, kernal_size=kernal_size, \
analog_gain=analog_gain, offset=right_offset)
return left_gain_map, right_gain_map
###Dark classの本体定義
簡単ですが、Dark shading補正部分の実装を説明してきました。最後にDark classの定義を示し終わりたいと思います。
import cv2
import numpy as np
import helper
class LinearPoly():
def __init__(self):
self.slope = 0.0
self.offset = 0.0
class Dark():
""" Dark image handler
"""
def __init__(self, path: str, ext: str='pgm', dsize= (2016, 1512)):
# make file path list
self._file_path_list = helper.make_file_path_list(path, ext)
self._file_path_list.sort()
# image size
self._img_width, self._img_height = dsize
self._img_center_x = self._img_width // 2
self._img_center_y = self._img_height // 2
# read dark images
self._dark_imgs = helper.read_img_from_path(self._file_path_list, self._img_width, self._img_height)
# recognize postion left or right
for idx, loc in enumerate(self._file_path_list):
if helper.loc_detector_from_name(loc):
self._left_img = self._dark_imgs[idx]
else:
self._right_img = self._dark_imgs[idx]
# dark shading fitting data
self._dksh_para = [LinearPoly(), LinearPoly(), LinearPoly()]