テクスチャ画像認識やることになったので、フーリエ変換とか出来るようにopenCVを触ってみました。
試行環境
- Windows 10 64bit
- Python 3.6.6
- opencv-python==4.0.0.21
- Pillow==5.3.0
- jupyter notebook
1. PILなのかopenCVなのか
pythonの画像処理パッケージではopenCVとPILが人気のようで「python 画像処理」あたりで検索するとこの2つについての記事がほとんどです。歴史ある画像処理のデファクトスタンダードであるopenCVと、名称通りpythonの標準的な画像パッケージであるPIL(Python Image Library)の２つのパッケージですが現在はどちらもpip installで手軽に試せちゃうみたいです。どちらが良いか分からなかったので両方ちょっと触ってみました。
| openCV | PIL | |
|---|---|---|
| インストール | pipだけで出来る | pipだけで出来る |
| 日本語PATH | 読めない | 読める |
| カラー画像の形式 | BGR | RGB |
| グレースケール化 | できる | できる |
| HSV化 | できる | できる |
| CIE Lab化 | できる | できる |
| フーリエ変換 | numpyでやる | numpyでやる |
どうやらやりたい事はどちらも出来るようです。もっと高度な処理になると画像処理のデファクトスタンダードであるopenCVにしかない機能がたくさんあるようですが、今回はちょろっと変換するだけなのでPILでも大丈夫みたいですね。
ただし、openCVは日本語PATHが入ると読めなくなっちゃうし、データがRGBじゃなくBGR順で入っててややこしいのが難点です。「開きたい画像ファイル1000個が全部日本語名です」みたいな時はリネームしなくても読めるPILでやった方が楽かもですね。openCVは画像データをnumpy.arrayそのままで扱えますし、PILもnumpy.arrayに変換して戻してが出来ますから、PILで読んでopenCVに渡してというのでも良いのかもしれません。
僕は今後高度な処理をやっていく可能性があるのでopenCVの方でやっていく事にしました。
2. openCVのインストールとimport
pipでサクッとインストールできます。インストールするときと使うときで名前が違うので注意。
$ pip install opencv-python
>>> import cv2
3. 画像の読み込みと表示
cv2.imread(画像ファイルのPATH)で読めます。相対PATHでも絶対PATHでも良いようです。cv2.imread()の返り値はnp.ndarrayで返ってくるので、値を直接いじったりも簡単に出来ちゃいます。
>>> import cv2
>>>
>>> im = cv2.imread('image.png')
>>> print(im.shape, type(im))
(183, 275, 3) <class 'numpy.ndarray'>
解像度が183 x 275 pixelのRGB画像だと上記のように読み込まれます。3次元のnumpy.arrayになってるので1チャンネルだけ取り出すのも簡単です。
>>> im[:, :, 0]
array([[255, 255, 255, ..., 250, 250, 250],
[255, 255, 255, ..., 250, 250, 250],
[255, 255, 255, ..., 250, 250, 250],
...,
[255, 255, 255, ..., 255, 255, 255],
[255, 255, 255, ..., 255, 255, 255],
[255, 255, 255, ..., 255, 255, 255]], dtype=uint8)
jupyter notebookで表示する場合は、cv2.imshow()が使えないようですがmatplotlib.pyplot.imshow()で表示できます。読んできた値はBlue, Green, Redの順で格納されているんですが、matplotlib.pyplot.imshow()はRGB順でデータが来るつもりで表示しちゃうので、cv2.cvtColor()で並べ替えして表示します。pyplotのメソッドなので表示解像度を変えたり並べて表示したりも出来て便利です。
import matplotlib.pyplot as plt
%matplotlib inline
plt.figure(dpi=50)
plt.imshow(cv2.cvtColor(im, cv2.COLOR_BGR2RGB))
plt.show()
ちなみにcm2.cvtColor()で変換しないで表示してみると、RGBが入れ替わってるので色が変になります。
plt.imshow(im)
ゲルバナ感あります。
4. グレースケール化、HSV化、Lab化
PILだと使うメソッドがそれぞれ違ってしまうのでややこしいんですが、openCVだといずれもcv2.cvtColor()で変換できます。
グレースケール化
gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
plt.figure(dpi=50)
plt.imshow(gray, 'gray')
plt.show()
HSV化
hsv = cv2.cvtColor(im, cv2.COLOR_BGR2HSV)
plt.figure(dpi=50)
plt.imshow(cv2.cvtColor(hsv, cv2.COLOR_BGR2RGB))
plt.show()
Lab化
Lab = cv2.cvtColor(im, cv2.COLOR_BGR2Lab)
plt.figure(dpi=50)
plt.imshow(cv2.cvtColor(Lab, cv2.COLOR_BGR2RGB))
plt.show()
5. フーリエ変換
グレースケール化してからパワースペクトル出してみます。
import numpy as np
gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
fim = np.fft.fft2(gray)
fshift = np.fft.fftshift(fim)
fMagnitudeSpectrum = 20 * np.log(np.abs(fshift))
plt.figure(dpi=50)
plt.imshow(fMagnitudeSpectrum, 'gray')
plt.show()
