概要

木の幹の画像からH,S(色相、彩度)成分を取得、さらにその度数を計算しそれらの値を特徴量として機械学習を行い木の種類を分類する。

使用する木の種類

4種類の木を対象とした。

クスノキ
モッコク
マツ
サクラ

用意した画像データ

・クスノキ
3本の木から異なる角度で撮影した写真計6枚
・モッコク
3本の木から異なる角度で撮影した写真計5枚
・マツ
3本の木から異なる角度で撮影した写真計8枚
・サクラ
3本の木から異なる角度で撮影した写真計6枚

H,Sヒストグラム比較

Plot_HS_histogram.ipynb

import cv2
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
import sys,os
import re
from tqdm.notebook import tqdm

# 画像保存先
dir_path = '/Users/user/work/2020_ai/tree_classifying/original_images/'
sub_dir_path = ['Kusu/','Mok/','Matsu/','Sakura/']

imgs = []

for sub_dir in tqdm(sub_dir_path):
    img_perclass = []
    for f in os.listdir(dir_path+sub_dir):
        if os.path.isfile(os.path.join(dir_path+sub_dir, f)):
            if re.search(r'(\.bmp|\.BMP|\.jpg|\.JPG|\.png|\.PNG|\.jpeg|\.JPEG)$', f):
                img_bgr = cv2.imread(dir_path+sub_dir+f)
                img_hsv = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2HSV)
                if img_perclass == []:
                    img_perclass = np.array(img_hsv.reshape(1,-1,3)[0])
                else:
                    img_perclass = np.concatenate([img_perclass, img_hsv.reshape(1,-1,3)[0]])
    imgs.append(img_perclass)

i = 0
for img_perclass in imgs_1d:
    # ヒストグラムを計算し、画素数で割る
    hist_h = np.histogram(img_perclass[:,0], bins=180, range=(0,180))[0] / img_perclass.shape[0]
    plt.plot(range(0,180), hist_h, label=sub_dir_path[i])
    i+=1
plt.title('Histogram of H (scaled)')
plt.legend()
plt.show()


i = 0
for img_perclass in imgs_1d:
    hist_s = np.histogram(img_perclass[:,1], bins=256, range=(0,256))[0] / img_perclass.shape[0]
    plt.plot(range(0,256), hist_s, label=sub_dir_path[i])    
    i+=1
plt.title('Histogram of S (scaled)')
plt.legend()
plt.show()

さくらだけは他の３種と異なりH=100~130のあたりに第２のピークがみられる。

4種類ともピークの現れ方がそれぞれ異なる。

H成分の0~30について拡大してみる。

マツは0~10の範囲が相対的に見て多く、モッコクは13~17あたりが多い。

こうした特徴を利用して分類できるか試してみた。

前処理

画像の分割

木の画像はそれぞれ数枚しか用意できていないので、データ数を増やすため1枚の画像を400x400の大きさに切り取る。
切り取る大きさは、樹皮の模様（主に溝）が切り取った1枚の画像にはっきりと映るくらいの大きさで決めた。

(例)クスノキ1本の写真から切り取った画像

HS成分の取得

OpenCVでHSVに変換した値は極座標系の値なので、直交座標系に変換する。

以上の処理を1つのプログラムに記述し、直交座標系に変換したHSVのデータを木の種類ごとに作成、numpyのバイナリ形式で保存しておく。

Make_HSV_data.ipynb

import cv2
import numpy as np
import sys,os
import pandas as pd
import re

from tqdm.notebook import tqdm

# 画像ファイルパス
dir_path = '/Users/user/work/2020_ai/tree_classifying/Sakura/aggr/'
# 保存先
save_path = '/Users/user/work/2020_ai/tree_classifying/'
# 保存ファイル名
save_filename = 'Sakura_hsv'

file_list = [] #読み込む画像ファイルのリスト
data_list = [] #list型の画像データ

# ディレクトリ内の画像を順次読み込み
for f in tqdm(os.listdir(dir_path)):
    if os.path.isfile(os.path.join(dir_path, f)):
        if re.search(r'(\.bmp|\.BMP|\.jpg|\.JPG|\.png|\.PNG|\.jpeg|\.JPEG)$', f):
            file_list.append(f)
            img_bgr = cv2.imread(dir_path + f)
            img_hsv = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2HSV)
            data_list.append(img_hsv)

data = np.array(data_list)
print(data.shape)
# (780, 400, 400, 3)

data_xyz = np.zeros(data.shape) # x,yに変換したデータを格納

data_xyz[:, :, :, 0] = data[:, :, :, 1] * np.cos(2*np.pi * data[:, :, :, 0] / 180)
data_xyz[:, :, :, 1] = data[:, :, :, 1] * np.sin(2*np.pi * data[:, :, :, 0] / 180)
data_xyz[:, :, :, 2] = data[:, :, :, 2]

np.savez_compressed(save_path + save_filename, data_xyz)

ヒストグラムの計算
正規化

計算したヒストグラムは元データの数に依存した値になっているため、データ数で割ることで正規化する。

import cv2
import numpy as np
import sys,os
from matplotlib import pyplot as plt
import pandas as pd
import re
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.preprocessing import StandardScaler
from tqdm.notebook import tqdm

npz_path = '/Users/user/work/2020_ai/tree_classifying/npz_datas/'

data = []
label = []

# クラスごとに分けられたファイル読み込み
i = 0
for f in tqdm(os.listdir(npz_path)):
    if os.path.isfile(os.path.join(npz_path, f)):
        if re.search(r'\.npz$', f):
            img_xyz = np.load(npz_path + f)['arr_0']
            # ヒストグラムを計算して配列に格納
            for j in range(img_xyz.shape[0]):
                tmp = np.histogram(img_xyz[j,:,:,0], bins=511, range=(-255,256))[0]
                tmp = np.append(tmp, np.histogram(img_xyz[j,:,:,1], bins=511, range=(-255,256))[0])
                tmp = tmp / img_xyz.shape[0]  # 計算したヒストグラムを正規化
                data.append(tmp)
                label.append(i)
            i+=1

data = np.array(data)
print(f'shape of data: {data.shape}')
# shape of data: (2664, 1022)

作成したデータセット

400x400の画像データのHSヒストグラム
行数：2664 (クスノキ900枚+モッコク585枚+マツ399枚+サクラ780枚)
列数：1022 (X511諧調+Y511諧調)

モデルの作成と評価

SVMとランダムフォレストでそれぞれモデルを作成し、正解率を比較する。
ハイパーパラメータはグリッドサーチで決定する。

# 学習データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(data, label, test_size=0.3, stratify=label, random_state=10)

# グリッドサーチ
params_svc = {'C': [1, 10, 100, 1000, 1e4, 1e5, 1e6, 1e7, 1e8, 1e9], 'gamma': [1e-12, 1e-11, 1e-10, 1e-9, 1e-8, 1e-7, 1e-6, 1e-5, 1e-4, 1e-3]}
params_rfc = {'n_estimators': [10, 50, 100, 200]}

cv_svc = GridSearchCV(SVC(), params_svc, cv=5)
cv_rfc = GridSearchCV(RFC(), params_rfc, cv=5)
cv_svc.fit(X_train, y_train)
cv_rfc.fit(X_train, y_train)
res_svc = pd.DataFrame(cv_svc.cv_results_)
res_rfc = pd.DataFrame(cv_rfc.cv_results_)

グリッドサーチの結果は以下の通り。

res_svc[res_svc['rank_test_score'] == 1]

    mean_fit_time   std_fit_time    mean_score_time std_score_time  param_C param_gamma params  split0_test_score   split1_test_score   split2_test_score   split3_test_score   split4_test_score   mean_test_score std_test_score  rank_test_score
27  0.780955    0.087561    0.165345    0.006702    100 1e-05   {'C': 100, 'gamma': 1e-05}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
36  0.756443    0.008853    0.161597    0.005326    1000    1e-06   {'C': 1000, 'gamma': 1e-06} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
37  0.510188    0.008355    0.088438    0.003934    1000    1e-05   {'C': 1000, 'gamma': 1e-05} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
45  0.805055    0.096169    0.163324    0.005390    10000   1e-07   {'C': 10000.0, 'gamma': 1e-07}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
46  0.544133    0.013255    0.090187    0.004100    10000   1e-06   {'C': 10000.0, 'gamma': 1e-06}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
47  0.505472    0.010267    0.088975    0.001913    10000   1e-05   {'C': 10000.0, 'gamma': 1e-05}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
54  0.771960    0.020971    0.158751    0.005042    100000  1e-08   {'C': 100000.0, 'gamma': 1e-08} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
55  0.553612    0.007341    0.087472    0.002180    100000  1e-07   {'C': 100000.0, 'gamma': 1e-07} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
56  0.574675    0.035277    0.089660    0.003910    100000  1e-06   {'C': 100000.0, 'gamma': 1e-06} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
57  0.530672    0.029622    0.089334    0.002266    100000  1e-05   {'C': 100000.0, 'gamma': 1e-05} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
64  0.540808    0.044080    0.075787    0.003550    1e+06   1e-08   {'C': 1000000.0, 'gamma': 1e-08}    1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
65  0.526612    0.011834    0.081723    0.004195    1e+06   1e-07   {'C': 1000000.0, 'gamma': 1e-07}    1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
66  0.518916    0.016057    0.083340    0.003087    1e+06   1e-06   {'C': 1000000.0, 'gamma': 1e-06}    1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
67  0.493541    0.010324    0.085467    0.002011    1e+06   1e-05   {'C': 1000000.0, 'gamma': 1e-05}    1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
73  0.529144    0.018930    0.071493    0.002236    1e+07   1e-09   {'C': 10000000.0, 'gamma': 1e-09}   1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
74  0.595466    0.032245    0.077605    0.015454    1e+07   1e-08   {'C': 10000000.0, 'gamma': 1e-08}   1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
75  0.620033    0.027268    0.086070    0.004056    1e+07   1e-07   {'C': 10000000.0, 'gamma': 1e-07}   1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
76  0.621780    0.040632    0.091296    0.004463    1e+07   1e-06   {'C': 10000000.0, 'gamma': 1e-06}   1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
77  0.546178    0.034436    0.088642    0.003792    1e+07   1e-05   {'C': 10000000.0, 'gamma': 1e-05}   1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
84  0.593776    0.022242    0.066398    0.003423    1e+08   1e-08   {'C': 100000000.0, 'gamma': 1e-08}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
85  0.531727    0.008548    0.084426    0.003201    1e+08   1e-07   {'C': 100000000.0, 'gamma': 1e-07}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
86  0.601080    0.068931    0.090125    0.003586    1e+08   1e-06   {'C': 100000000.0, 'gamma': 1e-06}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
87  0.522254    0.050433    0.085424    0.002590    1e+08   1e-05   {'C': 100000000.0, 'gamma': 1e-05}  1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
93  0.491134    0.026989    0.062112    0.003813    1e+09   1e-09   {'C': 1000000000.0, 'gamma': 1e-09} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
94  0.566583    0.026231    0.070406    0.001855    1e+09   1e-08   {'C': 1000000000.0, 'gamma': 1e-08} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
95  0.652987    0.036169    0.088767    0.008282    1e+09   1e-07   {'C': 1000000000.0, 'gamma': 1e-07} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
96  0.633960    0.029051    0.088672    0.001232    1e+09   1e-06   {'C': 1000000000.0, 'gamma': 1e-06} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1
97  0.577285    0.035824    0.090383    0.004738    1e+09   1e-05   {'C': 1000000000.0, 'gamma': 1e-05} 1.0 1.0 0.997319    1.0 1.0 0.999464    0.001072    1

res_rfc.sort_values('rank_test_score').head()

    mean_fit_time   std_fit_time    mean_score_time std_score_time  param_n_estimators  params  split0_test_score   split1_test_score   split2_test_score   split3_test_score   split4_test_score   mean_test_score std_test_score  rank_test_score
3   1.596434    0.008670    0.023556    0.000759    200 {'n_estimators': 200}   0.959786    0.975871    0.962466    0.994638    0.959677    0.970488    0.013476    1
1   0.404198    0.008753    0.007282    0.000462    50  {'n_estimators': 50}    0.959786    0.975871    0.959786    0.989276    0.959677    0.968879    0.011958    2
2   0.786645    0.009857    0.012463    0.000741    100 {'n_estimators': 100}   0.959786    0.978552    0.957105    0.994638    0.946237    0.967263    0.017193    3
0   0.089134    0.007619    0.003566    0.001785    10  {'n_estimators': 10}    0.970509    0.932976    0.943700    0.962466    0.913978    0.944726    0.020318    4

・SVM
ランク1のスコアが28個、標準偏差も一緒だった。
以下3種類の値を抜粋して評価してみる。
(1) {C: 1e5, gamma: 1e-8}
(2) {C: 1e4, gamma: 1e-5}
(3) {C: 1e9, gamma: 1e-9}

・ランダムフォレスト
以下2つのパラメータで評価する。
(1) n=200　平均スコア: 0.970488　標準偏差: 0.013476
(2) n=50　平均スコア: 0.968879　標準偏差: 0.011958

# モデル作成
models = {
    'SVM': SVC(C=1e5, gamma=1e-8),
    'RFC': RFC(n_estimators=200),
}
scores = {}
for model_name, model in models.items():
    model.fit(X_train, y_train)
    scores[(model_name, 'train_score')] = model.score(X_train, y_train)
    scores[(model_name, 'test_score')] = model.score(X_test, y_test)

# 結果表示
pd.Series(scores).unstack()

    test_score  train_score
RFC 0.9725  1.0
SVM 1.0000  1.0

# モデル作成
models = {
    'SVM': SVC(C=1e4, gamma=1e-5),
    'RFC': RFC(n_estimators=50),
}
scores = {}
for model_name, model in models.items():
    model.fit(X_train, y_train)
    scores[(model_name, 'train_score')] = model.score(X_train, y_train)
    scores[(model_name, 'test_score')] = model.score(X_test, y_test)

# 結果表示
pd.Series(scores).unstack()

    test_score  train_score
RFC 0.96875 1.0
SVM 1.00000 1.0

# モデル作成
models = {
    'SVM': SVC(C=1e9, gamma=1e-9),
    'RFC': RFC(n_estimators=50),
}
scores = {}
for model_name, model in models.items():
    model.fit(X_train, y_train)
    scores[(model_name, 'train_score')] = model.score(X_train, y_train)
    scores[(model_name, 'test_score')] = model.score(X_test, y_test)

# 結果表示
pd.Series(scores).unstack()

    test_score  train_score
RFC 0.96125 1.0
SVM 1.00000 1.0

正解率

SVM: 100%
ランダムフォレスト: 96~97%

ヒストグラムをそのまま特徴量に使っただけなのだが、ほぼ100%の正解率となった。
実用化を考えた場合、カメラで撮影した写真から今回のように小さい画像に切り取り、切り取った1枚1枚の画像を機械学習で分類したのち、それらの分類結果から元の木の種類を多数決で決めるといった方法がある。
さらに、実用においては学習に使用していない木の画像データを分類することから、その場合正解率がどの程度低下するのかも評価してみたい。
ただ前述した通り多数決による最終結果が合っていれば良いので、正解率があまり高くなかったとしても実用レベルに持っていくことはできるんじゃないかと思った。