Google Cloud Visual Inspection AIを触ってみた 〜Cosmetic Inspection編〜
はじめに
こんにちは、京セラコミュニケーションシステム 森田 (@kccs_kai-morita）です。
GoogleCloudにおけるAIサービスといえばVertexAIが有名ですが、実は製造品の外観検査に特化したサービスとしてVisual Inspection AI（以下VIAIと表記）が存在します1。
今回VIAIを検証する機会がありましたので、その内容について記載します。
本記事は2022年11月ごろに作成しております。
この記事の対象者
- 製造品の外観検査を検討している方
- VertexAI AutoMLを試してみたがうまくいかず、より精度が良い外観検査ソリューションをお探しの方
Visual Inspectionとは
VIAIは、AutoMLと同様に画像があれば内部で自動的に機械学習モデルを構築してくれるサービスです。AutoMLは汎用的にどのような種類の画像に対してもモデルを構築してくれますが細かいキズや汚れの検知は精度が悪く、その上かなり多くの画像枚数が必要であり製造業においては不良品の画像がそもそも多く排出されないため、AutoMLはほとんどのケースで使用できませんでした。対してVIAI外観検査向けの細かい不良まで検知できてなおかつ少ない枚数で高精度な機械学習モデルを構築できるという特徴があります。
VIAIにはCosmetic Inspection、Assembly Inspection、Anomaly Inspectionの３つのメニューがあります。
Cosmetic Inspectionは製品の表面上の欠陥を検出する機械学習モデルを自動で作成します。AutoMLではバウンディングボックスによる検知をする物体検出モデルまでしか生成できませんが、こちらはピクセル単位の検出を可能にするいわゆるセグメンテーションモデルとなります。そのため、従来では検出できていなかった微細な欠陥まで検出することが可能となっています。
Assembly Inspectionは基板などの組立品上で欠陥がある部品を検知するモデルを構築し、Anomaly Inspectionは画像を正常異常に分類するモデルを構築するようです。今回はCosmetic Inspectionについて検証した結果を記載しています。
検証に用いたデータセット
今回下図のような市販のワッシャーを用いました。画像の枚数としてはトレーニング用に欠陥品の画像のみ10枚用いています。
この図のように欠陥場所をそれぞれ印をつける作業（アノテーション）を実施し、トレーニングを開始ボタンを押します。
評価結果
半日ほどでトレーニングが終了し、検証結果画面は以下のとおりでした。
評価結果
Example Imagesがテストデータを作成されたモデルで予測した結果となりますが、すべて欠陥場所が正確に検知できました！また、混同行列をみると％の数値は低くみえますが、画像内のピクセル単位の判定結果のためこのような出力結果となっております。
以上の結果により10枚ほどの少ない枚数で微細な欠陥も検知できるかなり良い機械学習モデルが作れるということがわかりました。
不良画面
さらに、データセット画面に戻るとこちらのようにまだアノテーションされていない画像に対してこの画像をアノテーションするとより良い結果になるということを推奨してくれる機能もあるようでした。
推論速度検証
実際にこちらのモデルをもちいて外観検査導入するという話になると、推論速度が重要になります。そこで、今回製品を撮影してからCPUおよびGPU環境上にデプロイしたモデルにて推論し、その結果を返すまでの速度を測定しました。
| 画像サイズ(pix) | CPU(秒) | GPU(秒) |
|---|---|---|
| 2448 * 2048(オリジナル) | 3.251 | 1.019 |
| 2000 * 2000(縮小) | 1.683 | 0.712 |
| 1000 * 1000(縮小) | 0.557 | 0.315 |
CPU環境では3秒以上と製造ラインに導入するには遅い数値となりましたが、GPUを用いることにより1秒弱となりました。さらに画像を小さくするともちろん速度も早くなりましたが、その分精度も少し落ちる結果となりました。今回GPUとしてNVIDIAのGeForceRTX2080Tiを用いましたが、より高性能なものを用いることでより速度は向上すると思われます。
また同様の製品でAnomaly Inspectionのモデルで検証したところ、より速い結果となりました。また、Cosmetic Inspectionまで高精度を求めなくていいものについてはそちらを検討するといいかもしれません。
終わりに
なお、料金については、検索して出てくる公式ドキュメント上で「Google営業担当へお問い合わせください」となっております。今回の記事ではCosmetic Inspectionにて検証した内容について記事にしましたが、次回はAssembly Inspectionで検証した内容について書く予定です。