概要
木の幹の画像からH,S(色相、彩度)成分を取得、さらにその度数を計算しそれらの値を特徴量として機械学習を行い木の種類を分類する。
使用する木の種類
4種類の木を対象とした。
- クスノキ
- モッコク
- マツ
- サクラ
用意した画像データ
・クスノキ
3本の木から異なる角度で撮影した写真計6枚
・モッコク
3本の木から異なる角度で撮影した写真計5枚
・マツ
3本の木から異なる角度で撮影した写真計8枚
・サクラ
3本の木から異なる角度で撮影した写真計6枚
H,Sヒストグラム比較
Plot_HS_histogram.ipynb
import cv2
import pandas as pd
import numpy as np
from matplotlib import pyplot as plt
import sys,os
import re
from tqdm.notebook import tqdm
# 画像保存先
dir_path = '/Users/user/work/2020_ai/tree_classifying/original_images/'
sub_dir_path = ['Kusu/','Mok/','Matsu/','Sakura/']
imgs = []
for sub_dir in tqdm(sub_dir_path):
img_perclass = []
for f in os.listdir(dir_path+sub_dir):
if os.path.isfile(os.path.join(dir_path+sub_dir, f)):
if re.search(r'(\.bmp|\.BMP|\.jpg|\.JPG|\.png|\.PNG|\.jpeg|\.JPEG)$', f):
img_bgr = cv2.imread(dir_path+sub_dir+f)
img_hsv = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2HSV)
if img_perclass == []:
img_perclass = np.array(img_hsv.reshape(1,-1,3)[0])
else:
img_perclass = np.concatenate([img_perclass, img_hsv.reshape(1,-1,3)[0]])
imgs.append(img_perclass)
i = 0
for img_perclass in imgs_1d:
# ヒストグラムを計算し、画素数で割る
hist_h = np.histogram(img_perclass[:,0], bins=180, range=(0,180))[0] / img_perclass.shape[0]
plt.plot(range(0,180), hist_h, label=sub_dir_path[i])
i+=1
plt.title('Histogram of H (scaled)')
plt.legend()
plt.show()
i = 0
for img_perclass in imgs_1d:
hist_s = np.histogram(img_perclass[:,1], bins=256, range=(0,256))[0] / img_perclass.shape[0]
plt.plot(range(0,256), hist_s, label=sub_dir_path[i])
i+=1
plt.title('Histogram of S (scaled)')
plt.legend()
plt.show()
さくらだけは他の３種と異なりH=100~130のあたりに第２のピークがみられる。
4種類ともピークの現れ方がそれぞれ異なる。
H成分の0~30について拡大してみる。
マツは0~10の範囲が相対的に見て多く、モッコクは13~17あたりが多い。
こうした特徴を利用して分類できるか試してみた。
前処理
- 画像の分割
木の画像はそれぞれ数枚しか用意できていないので、データ数を増やすため1枚の画像を400x400の大きさに切り取る。
切り取る大きさは、樹皮の模様（主に溝）が切り取った1枚の画像にはっきりと映るくらいの大きさで決めた。
(例)クスノキ1本の写真から切り取った画像
- HS成分の取得
OpenCVでHSVに変換した値は極座標系の値なので、直交座標系に変換する。
以上の処理を1つのプログラムに記述し、直交座標系に変換したHSVのデータを木の種類ごとに作成、numpyのバイナリ形式で保存しておく。
Make_HSV_data.ipynb
import cv2
import numpy as np
import sys,os
import pandas as pd
import re
from tqdm.notebook import tqdm
# 画像ファイルパス
dir_path = '/Users/user/work/2020_ai/tree_classifying/Sakura/aggr/'
# 保存先
save_path = '/Users/user/work/2020_ai/tree_classifying/'
# 保存ファイル名
save_filename = 'Sakura_hsv'
file_list = [] #読み込む画像ファイルのリスト
data_list = [] #list型の画像データ
# ディレクトリ内の画像を順次読み込み
for f in tqdm(os.listdir(dir_path)):
if os.path.isfile(os.path.join(dir_path, f)):
if re.search(r'(\.bmp|\.BMP|\.jpg|\.JPG|\.png|\.PNG|\.jpeg|\.JPEG)$', f):
file_list.append(f)
img_bgr = cv2.imread(dir_path + f)
img_hsv = cv2.cvtColor(img_bgr, cv2.COLOR_BGR2HSV)
data_list.append(img_hsv)
data = np.array(data_list)
print(data.shape)
# (780, 400, 400, 3)
data_xyz = np.zeros(data.shape) # x,yに変換したデータを格納
data_xyz[:, :, :, 0] = data[:, :, :, 1] * np.cos(2*np.pi * data[:, :, :, 0] / 180)
data_xyz[:, :, :, 1] = data[:, :, :, 1] * np.sin(2*np.pi * data[:, :, :, 0] / 180)
data_xyz[:, :, :, 2] = data[:, :, :, 2]
np.savez_compressed(save_path + save_filename, data_xyz)
- ヒストグラムの計算
- 正規化
計算したヒストグラムは元データの数に依存した値になっているため、データ数で割ることで正規化する。
import cv2
import numpy as np
import sys,os
from matplotlib import pyplot as plt
import pandas as pd
import re
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.svm import SVC
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.preprocessing import StandardScaler
from tqdm.notebook import tqdm
npz_path = '/Users/user/work/2020_ai/tree_classifying/npz_datas/'
data = []
label = []
# クラスごとに分けられたファイル読み込み
i = 0
for f in tqdm(os.listdir(npz_path)):
if os.path.isfile(os.path.join(npz_path, f)):
if re.search(r'\.npz$', f):
img_xyz = np.load(npz_path + f)['arr_0']
# ヒストグラムを計算して配列に格納
for j in range(img_xyz.shape[0]):
tmp = np.histogram(img_xyz[j,:,:,0], bins=511, range=(-255,256))[0]
tmp = np.append(tmp, np.histogram(img_xyz[j,:,:,1], bins=511, range=(-255,256))[0])
tmp = tmp / img_xyz.shape[0] # 計算したヒストグラムを正規化
data.append(tmp)
label.append(i)
i+=1
data = np.array(data)
print(f'shape of data: {data.shape}')
# shape of data: (2664, 1022)
作成したデータセット
400x400の画像データのHSヒストグラム
行数：2664 (クスノキ900枚+モッコク585枚+マツ399枚+サクラ780枚)
列数：1022 (X511諧調+Y511諧調)
モデルの作成と評価
SVMとランダムフォレストでそれぞれモデルを作成し、正解率を比較する。
ハイパーパラメータはグリッドサーチで決定する。
# 学習データとテストデータに分割
X_train, X_test, y_train, y_test = train_test_split(data, label, test_size=0.3, stratify=label, random_state=10)
# グリッドサーチ
params_svc = {'C': [1, 10, 100, 1000, 1e4, 1e5, 1e6, 1e7, 1e8, 1e9], 'gamma': [1e-12, 1e-11, 1e-10, 1e-9, 1e-8, 1e-7, 1e-6, 1e-5, 1e-4, 1e-3]}
params_rfc = {'n_estimators': [10, 50, 100, 200]}
cv_svc = GridSearchCV(SVC(), params_svc, cv=5)
cv_rfc = GridSearchCV(RFC(), params_rfc, cv=5)
cv_svc.fit(X_train, y_train)
cv_rfc.fit(X_train, y_train)
res_svc = pd.DataFrame(cv_svc.cv_results_)
res_rfc = pd.DataFrame(cv_rfc.cv_results_)
グリッドサーチの結果は以下の通り。
res_svc[res_svc['rank_test_score'] == 1]
mean_fit_time std_fit_time mean_score_time std_score_time param_C param_gamma params split0_test_score split1_test_score split2_test_score split3_test_score split4_test_score mean_test_score std_test_score rank_test_score
27 0.780955 0.087561 0.165345 0.006702 100 1e-05 {'C': 100, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
36 0.756443 0.008853 0.161597 0.005326 1000 1e-06 {'C': 1000, 'gamma': 1e-06} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
37 0.510188 0.008355 0.088438 0.003934 1000 1e-05 {'C': 1000, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
45 0.805055 0.096169 0.163324 0.005390 10000 1e-07 {'C': 10000.0, 'gamma': 1e-07} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
46 0.544133 0.013255 0.090187 0.004100 10000 1e-06 {'C': 10000.0, 'gamma': 1e-06} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
47 0.505472 0.010267 0.088975 0.001913 10000 1e-05 {'C': 10000.0, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
54 0.771960 0.020971 0.158751 0.005042 100000 1e-08 {'C': 100000.0, 'gamma': 1e-08} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
55 0.553612 0.007341 0.087472 0.002180 100000 1e-07 {'C': 100000.0, 'gamma': 1e-07} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
56 0.574675 0.035277 0.089660 0.003910 100000 1e-06 {'C': 100000.0, 'gamma': 1e-06} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
57 0.530672 0.029622 0.089334 0.002266 100000 1e-05 {'C': 100000.0, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
64 0.540808 0.044080 0.075787 0.003550 1e+06 1e-08 {'C': 1000000.0, 'gamma': 1e-08} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
65 0.526612 0.011834 0.081723 0.004195 1e+06 1e-07 {'C': 1000000.0, 'gamma': 1e-07} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
66 0.518916 0.016057 0.083340 0.003087 1e+06 1e-06 {'C': 1000000.0, 'gamma': 1e-06} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
67 0.493541 0.010324 0.085467 0.002011 1e+06 1e-05 {'C': 1000000.0, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
73 0.529144 0.018930 0.071493 0.002236 1e+07 1e-09 {'C': 10000000.0, 'gamma': 1e-09} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
74 0.595466 0.032245 0.077605 0.015454 1e+07 1e-08 {'C': 10000000.0, 'gamma': 1e-08} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
75 0.620033 0.027268 0.086070 0.004056 1e+07 1e-07 {'C': 10000000.0, 'gamma': 1e-07} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
76 0.621780 0.040632 0.091296 0.004463 1e+07 1e-06 {'C': 10000000.0, 'gamma': 1e-06} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
77 0.546178 0.034436 0.088642 0.003792 1e+07 1e-05 {'C': 10000000.0, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
84 0.593776 0.022242 0.066398 0.003423 1e+08 1e-08 {'C': 100000000.0, 'gamma': 1e-08} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
85 0.531727 0.008548 0.084426 0.003201 1e+08 1e-07 {'C': 100000000.0, 'gamma': 1e-07} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
86 0.601080 0.068931 0.090125 0.003586 1e+08 1e-06 {'C': 100000000.0, 'gamma': 1e-06} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
87 0.522254 0.050433 0.085424 0.002590 1e+08 1e-05 {'C': 100000000.0, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
93 0.491134 0.026989 0.062112 0.003813 1e+09 1e-09 {'C': 1000000000.0, 'gamma': 1e-09} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
94 0.566583 0.026231 0.070406 0.001855 1e+09 1e-08 {'C': 1000000000.0, 'gamma': 1e-08} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
95 0.652987 0.036169 0.088767 0.008282 1e+09 1e-07 {'C': 1000000000.0, 'gamma': 1e-07} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
96 0.633960 0.029051 0.088672 0.001232 1e+09 1e-06 {'C': 1000000000.0, 'gamma': 1e-06} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
97 0.577285 0.035824 0.090383 0.004738 1e+09 1e-05 {'C': 1000000000.0, 'gamma': 1e-05} 1.0 1.0 0.997319 1.0 1.0 0.999464 0.001072 1
res_rfc.sort_values('rank_test_score').head()
mean_fit_time std_fit_time mean_score_time std_score_time param_n_estimators params split0_test_score split1_test_score split2_test_score split3_test_score split4_test_score mean_test_score std_test_score rank_test_score
3 1.596434 0.008670 0.023556 0.000759 200 {'n_estimators': 200} 0.959786 0.975871 0.962466 0.994638 0.959677 0.970488 0.013476 1
1 0.404198 0.008753 0.007282 0.000462 50 {'n_estimators': 50} 0.959786 0.975871 0.959786 0.989276 0.959677 0.968879 0.011958 2
2 0.786645 0.009857 0.012463 0.000741 100 {'n_estimators': 100} 0.959786 0.978552 0.957105 0.994638 0.946237 0.967263 0.017193 3
0 0.089134 0.007619 0.003566 0.001785 10 {'n_estimators': 10} 0.970509 0.932976 0.943700 0.962466 0.913978 0.944726 0.020318 4
・SVM
ランク1のスコアが28個、標準偏差も一緒だった。
以下3種類の値を抜粋して評価してみる。
(1) {C: 1e5, gamma: 1e-8}
(2) {C: 1e4, gamma: 1e-5}
(3) {C: 1e9, gamma: 1e-9}
・ランダムフォレスト
以下2つのパラメータで評価する。
(1) n=200 平均スコア: 0.970488 標準偏差: 0.013476
(2) n=50 平均スコア: 0.968879 標準偏差: 0.011958
# モデル作成
models = {
'SVM': SVC(C=1e5, gamma=1e-8),
'RFC': RFC(n_estimators=200),
}
scores = {}
for model_name, model in models.items():
model.fit(X_train, y_train)
scores[(model_name, 'train_score')] = model.score(X_train, y_train)
scores[(model_name, 'test_score')] = model.score(X_test, y_test)
# 結果表示
pd.Series(scores).unstack()
test_score train_score
RFC 0.9725 1.0
SVM 1.0000 1.0
# モデル作成
models = {
'SVM': SVC(C=1e4, gamma=1e-5),
'RFC': RFC(n_estimators=50),
}
scores = {}
for model_name, model in models.items():
model.fit(X_train, y_train)
scores[(model_name, 'train_score')] = model.score(X_train, y_train)
scores[(model_name, 'test_score')] = model.score(X_test, y_test)
# 結果表示
pd.Series(scores).unstack()
test_score train_score
RFC 0.96875 1.0
SVM 1.00000 1.0
# モデル作成
models = {
'SVM': SVC(C=1e9, gamma=1e-9),
'RFC': RFC(n_estimators=50),
}
scores = {}
for model_name, model in models.items():
model.fit(X_train, y_train)
scores[(model_name, 'train_score')] = model.score(X_train, y_train)
scores[(model_name, 'test_score')] = model.score(X_test, y_test)
# 結果表示
pd.Series(scores).unstack()
test_score train_score
RFC 0.96125 1.0
SVM 1.00000 1.0
正解率
- SVM: 100%
- ランダムフォレスト: 96~97%
ヒストグラムをそのまま特徴量に使っただけなのだが、ほぼ100%の正解率となった。
実用化を考えた場合、カメラで撮影した写真から今回のように小さい画像に切り取り、切り取った1枚1枚の画像を機械学習で分類したのち、それらの分類結果から元の木の種類を多数決で決めるといった方法がある。
さらに、実用においては学習に使用していない木の画像データを分類することから、その場合正解率がどの程度低下するのかも評価してみたい。
ただ前述した通り多数決による最終結果が合っていれば良いので、正解率があまり高くなかったとしても実用レベルに持っていくことはできるんじゃないかと思った。