コンクリートひび割れ画像の分類(SDNET2018)

画像処理の学習のため、コンクリートひび割れ画像の分類をしてみました。SDNET2018というデータセットを使っています。95.8%という高い平均適合率(Average Precision)が出せました！
ただ、これはGoogle Cloud AutoML Vision使っただけなので、難しいことを成し遂げた感はまるでないです・・・

サマリ

• 使用データセット: SDNET2018のひび割れ1000枚とひび割れなし2000枚
• 使ったツール：Google Cloud AutoML Vision
• 平均適合率：95.8%
• 適合率：90.637%
• 再現率：90.637%

※「適合率」などの評価指標については、別記事「【入門者向け】機械学習の分類問題評価指標解説(正解率・適合率・再現率など)」を参照ください。

使用したSDNETのデータセット

コンクリートのひび割れ画像データセットであるSDNET2018を使いました。ひび割れ1000枚("CD"フォルダ)とひび割れなし2000枚("UD"フォルダ)のみを使ったのですが、実際にはもっと画像枚数あります。
SDNET2018: An annotated image dataset for non-contact concrete crack detection using deep convolutional neural networks

Images are organized into three sub-directories: P for pavements, W for walls, and D for bridge decks. Each subfolder is further organized into sub-sub-directories with the prefix C for cracked and U for uncracked (e.g.,:/D/CD for images of bridge decks with cracks).

手順

基本的に記事「Google Cloud AutoML Visionを使ってみてた」の手順どおりです。

結果の考察

混合行列(実際のAutoML VisionのUIと縦横を逆にしています)は、下記のようになっておりFN(実際はひび割れがあるのにないと予測した誤り)が22.2%と多いです。

	実際がPositive (ひび割れ)	実際がNegative (ひび割れなし)
予測がPositive (ひび割れ)	TP 77.8%	FP 1.8%
予測がNegative (ひび割れなし)	FN 22.2%	TN 98.2%

FNの画像を何枚か見てみます。人間が見てもひび割れがあるか判断に迷いますね・・・。

おまけ：前処理を追加

もっと結果がよくならないか、といくつかOpenCVで前処理をしてみました。しかし、逆に悪くなってしまいました・・・
以下の3つを試しています。結論から言うと、何かするたびに結果が悪くなっていっています
GitHubに使った画像、CSV、Pythonコードがあります。

1. 白黒化
2. 白黒化して二値化
3. 白黒化、ラプラシアンフィルタ適用後に膨張

結果比較

No.	前処理	平均適合率	適合率	再現率	TP	FN	FP	TN
0	なし	95.8%	90.6%	90.6%	77.8%	22.2%	1.8%	98.2%
1	白黒化	94.2%	90.2%	90.2%	77.3%	22.7%	3.2%	96.8%
2	白黒化して二値化	91.1%	84.5%	84.5%	62.1%	37.9%	5.6%	94.4%
3	白黒化、ラプラシアンフィルタ適用後に膨張	90.9%	86.3%	86.3%	57.7%	42.3%	0.9%	99.1%

1. 白黒化

グレースケールに画像変換しています。人間の見た目にはあまり変わりません。意外とカラー部分に重要な情報あるんでしょうね。
OpenCVのcvtColor関数を使ってツールを作りました。

2. 白黒化して二値化

グレースケールにしてから大津の二値化しています。二値化でごっそり情報削ったのものあって一気に分類精度悪くなっていますね。
OpenCVのthreshold関数を使ってツールを作りました。

3. 白黒化、ラプラシアンフィルタ適用後に膨張

グレースケールにしてからラプラシアンフィルタ適用して、膨張をしています。ラプラシアンフィルタは負の勾配も考慮しています。膨張をさせたのは、膨張しないと全然見えなかったので強調させたかったからです。
情報が消失してしまっている画像もあります。
OpenCVのfilter2Dとdilate関数を使ってツールを作りました。

画像一覧

各画像は前処理でこんなになっています。全部、GitHubに入れています。

No.	前処理	ひび割れありサンプル	ひび割れなしサンプル
0	なし
1	白黒化
2	白黒化して二値化
3	白黒化、ラプラシアンフィルタ適用後に膨張