はじめに
画像レジストレーションは二つの画像が一致するよう位置関係を求める手法である。
画像レジストレーションを調べると多くの資料は以下3点が
主要な説明項目として挙げられている。123
- 画像変換（座標変換）
- 類似度（評価関数）
- 非線形最適化
つまり、二つの画像の類似度が最適になる変換パラメータを最適化で求める技術である。
しかし、上記説明のみでは初学者が実装するのは難しい。
そこで強度ベース剛体レジストレーションの実装を目標に可能な限り詳解する。
本記事では最急降下法を通して強度ベース剛体レジストレーションの構成技術を説明する。
第1回 強度ベース剛体レジストレーションの概要 <<イマココ
第2回 2D画像の強度ベース剛体レジストレーションの実装(未完成)
定義
強度ベース剛体レジストレーションの要素を分解すると以下となる。
- 強度ベース ：画像の輝度値から類似度を求める
- 剛体 ：剛体変換（変形しない）
- レジストレーション ：位置合わせ
この3つの要素を満たしていれば「強度ベース剛体レジストレーション」となる。
次にそれぞれの要素について概説する。
強度ベース
画像レジストレーションでは画像の類似度を計算する必要がある。
先に「強度ベース」の対となる「特徴ベース」について説明する。
「特徴ベース」は画像から特徴量を抽出し、特徴量によって類似度を決める手法である。4
それに対し「強度ベース」の場合、
対応するピクセルの輝度値そのものを用いることで類似度を求める。
例えば輝度値の差の二乗を取る方法や相互情報量（輝度値の分布）がある。3
剛体変換
剛体変換とは画像の形状を変えない変換である。
具体的には並進と回転のみの変換である。
レジストレーション
語源は印刷用語から由来していると思われる。5
複数の画像を同じ位置で重ね合わせる技術である。
構成技術
強度ベース剛体レジストレーションの実装に必要な構成技術は以下となる。
- 剛体変換
- 最急降下法
- 類似度
- 画像補間
- 類似度勾配
- 画像勾配
- 剛体変換のヤコビアン
上記が必要となる理由を非線形最適化の最急降下法を通して説明する。
画像
画像を定義する。
2つの画像のうち基準となる画像を固定画像(Fixed Image)と呼び、
座標$\boldsymbol{r}$における輝度値を$I_F(\boldsymbol{r})$とする。
対して固定画像と一致するように動かす画像を移動画像(Moving Image)と呼び、
座標$\boldsymbol{r}$における輝度値を$I_M(\boldsymbol{r})$とする。
剛体変換
剛体変換の表記を定義する。
並進と回転のパラメータを$\boldsymbol{p}$とし、
座標$\boldsymbol{r}$の座標$\boldsymbol{r}'$への変換は$\boldsymbol{r}' = \boldsymbol{T}(\boldsymbol{r},\boldsymbol{p})$と表記する。
また逆変換は$\boldsymbol{r} = \boldsymbol{T}^{-1}(\boldsymbol{r}',\boldsymbol{p})$と表記する。
最急降下法
最急降下法で関数$M(\boldsymbol{p})$が最小となる$\boldsymbol{p}$を求める場合、以下の式で値を更新する。
\boldsymbol{p}_{n+1} = \boldsymbol{p}_{n} - \boldsymbol{\alpha} \frac{\partial M(\boldsymbol{p}_{n})}{\partial \boldsymbol{p}_{n}}
このとき$\boldsymbol{\alpha}$は更新時の重みであり正の値である。
手法によっては更新ごとに重みを変更する場合があるが、
ここでは簡単化のため一定の重みと仮定する。
類似度
強度ベース剛体レジストレーションで最小化したい関数は
2つの画像の一致性、つまり類似度である。
固定画像$I_F$と$\boldsymbol{p}$により剛体変換された移動画像$I_M$の輝度値に対して
任意の演算$F(a,b)$をする類似度は以下の式で計算される。
M(I_F,I_M,\boldsymbol{p})=\sum_{\boldsymbol{r}} F(I_F(\boldsymbol{r}),I_M(\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p})))
式中の$\sum_{\boldsymbol{r}}$は固定画像$I_F$の全てのピクセルに対して演算を行うことを意味する。
固定画像$I_F$の$\boldsymbol{r}$に対応する移動画像$I_M$の位置は逆変換$\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p})$によって対応付けられる。
直感的には、関数$f(x)$をプラス方向に$h$ずらす場合、
$f(x-h)$となることと同様に解釈できる。
画像補間
逆変換$\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p})$により求められる座標は、移動画像$I_M$の格子点上になるとは限らない。
そのため周辺の輝度値を元に計算をし補間する。
類似度勾配
定義した類似度を最急降下法に適用すると、更新式は以下となる。
\boldsymbol{p}_{n+1} = \boldsymbol{p}_{n} - \boldsymbol{\alpha} \frac{\partial M(I_F,I_M,\boldsymbol{p}_{n})}{\partial \boldsymbol{p}_{n}}
この式から類似度を$\boldsymbol{p}_{n}$で偏微分する必要がある。
任意の演算$F(a,b)$を$b$で偏微分した場合、$F'(a,b)$とし、
合成関数の微分を用いると以下の式になる。
\begin{align}
\frac{M(I_F,I_M,\boldsymbol{p}_{n})}{\partial \boldsymbol{p}_{n}}
&= \sum_{\boldsymbol{r}}
\frac{\partial F(I_F(\boldsymbol{r}),I_M(\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n})))}{\partial I_M(\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n}))}
\frac{\partial I_M(\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n}))}{\partial \boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n})}
\frac{\partial \boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n})}{\partial \boldsymbol{p}_{n}}\\
&= \sum_{\boldsymbol{r}}
F'(I_F(\boldsymbol{r}),I_M(\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n})))
\frac{\partial I_M(\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n}))}{\partial \boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n})}
\frac{\partial \boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n})}{\partial \boldsymbol{p}_{n}}
\end{align}
類似度勾配の$\sum_{\boldsymbol{r}} $内の2、3番目の因子について説明する。
画像勾配
類似度勾配の$\sum_{\boldsymbol{r}} $内の2番目の因子に注目する。
$\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_{n})$は固定画像$I_F$に対応する座標を表す。
従って移動画像$I_M$の輝度値を座標に関して微分する、つまり画像勾配を意味する。
剛体変換のヤコビアン
類似度勾配の$\sum_{\boldsymbol{r}} $内の3番目の因子に注目する。
パラメータ$\boldsymbol{p}_{n}$の各要素により$\boldsymbol{T}^{-1}(\boldsymbol{r},\boldsymbol{p}_n)$の変換で
座標がどれだけ変化するかを表す行列である。
すなわちヤコビアン行列である。
まとめ
本記事では強度ベース剛体レジストレーションの定義を説明した。
また、最急降下法を通して強度ベース剛体レジストレーションが
以下の技術で構成されることを説明した。
- 剛体変換
- 最急降下法
- 類似度
- 画像補間
- 類似度勾配
- 画像勾配
- 剛体変換のヤコビアン
次回は2D画像レジストレーションの実装を通して、
各技術について説明する予定です。