Help us understand the problem. What is going on with this article?

Microsoft Custom Vision Service を使用した鼓膜画像認識

概要

プログラミングの勉強を始めて5か月程の開業医です。

他分野に遅れながらも医療業界でもAIの新たな技法が開発・改良されています。すでに心電図・内視鏡・MRI・CT・眼底・病理などの画像診断の研究が進められていますが、耳鼻科領域での報告はほぼありません。

今回、様々な鼓膜の写真をMicrosoft Custom Vision Serviceにまとめて学習させることで急性中耳炎か滲出性中耳炎か正常鼓膜かを判断させ、その診断精度を計測してみました。

使用した鼓膜画像は画像認識技術開発のために使用することに同意いただいたものを匿名化し使わせて頂きました。

方法

1.Microsoft LearnとAzureアカウントの取得

こちらを参考に outlook.jp のアカウントを作りました。
MicrosoftアカウントのOutlookメールアドレスを取得する方法 - Qiita

2.Display nameの作成

サイトにアクセスします。
Microsoft Learn | Microsoft Docs

サインインしてDisplay nameを作ります。
通知用の電子メール、国を指定して同意します。

3.Azure アカウントを作成

制作していくためにはアカウントが必要なので作成します。

演習 - Azure アカウントを作成する - Learn | Microsoft Docs

4.Microsoft Custom Vision Service を使用

Microsoft Custom Vision Service

image.png

以下の作業を順番にやっていきます。

5.Custom Vision Service プロジェクトを作成

6.タグを付けた画像をアップロード

今回はローカルファイルから
「急性中耳炎」と「鼓膜」のタグをつけた急性中耳炎の鼓膜画像を93枚、
「滲出性中耳炎」と「鼓膜」のタグをつけた滲出性中耳炎の鼓膜画像を94枚、
「正常鼓膜」と「鼓膜」のタグをつけた正常鼓膜画像を92枚アップロードしました。

7.モデルをトレーニング

モデルをトレーニングするには、ページの上部にある [トレーニング] ボタンをクリックします。

image.png

結果は、Precision(精度)とRecall(再現率)とAP(平均精度?)がモデルの診断精度の指標として示されます。

image.png

image.png

全体では精度95.6%、再現率97.3%と高い診断率です。
内訳は
鼓膜と急性中耳炎は精度、再現率ともに100%、
正常鼓膜が精度89.5%、再現率94.4%、
滲出性中耳炎が精度85.0%、再現率94.4%でした。

8.モデルをテスト

モデルのトレーニングが済んだので、今度はこれをテストします。 モデルに新しい画像を渡して、どれくらい正しく分類されるか確認します。

ページの上部にある [Quick Test] をクリックします。

image.png

今回は先ほど訓練画像として使用したものとは別の
急性中耳炎の鼓膜画像を10枚、
滲出性中耳炎の鼓膜画像を10枚、
正常の鼓膜画像を10枚をローカルファイルからテスト用画像として使用しました。

画像を1枚ずつテストしていきます。

ページの上部にある [Prediction] をクリックします。

image.png

9.結果

正診率は100%でした。
30枚のテスト画像すべてで、最も高い確率で選びだしたタグが正解のタグでした。

診断が難しいと思われたテスト画像をいくつかピックアップします。

極軽度の鼓膜の発赤がある軽い急性中耳炎の画像です。
急性中耳炎の確率が72.3%と他のタグより高い確率で診断されています。
2019-11-30_17h03_51.png

鼓膜が濁っているので水が溜まっているのが少し分かりにくい滲出性中耳炎の画像です。
滲出性中耳炎の確率が75%と他のタグより高い確率で診断されています。

2019-11-30_17h06_08.png

考察

テストでは100%の正解率が出て驚きました。
また、無料で短時間でこんなに高い精度のモデルが作成できるMicrosoftのサービス自体が本当にすごいと思いました。

今回の鼓膜画像は耳鼻咽喉科専門医が診断・撮影・タグ付けを行っているので、データの質としては良いものと思います。300枚という少ない画像数でも訓練データが良いと正解率が高いモデルを構築することができるのではないかと思われました。

以前自分でKerasでCNNモデルを作り(ほとんどコピペですが)鼓膜画像診断を試したことがあります。今回と同じ訓練データとテストデータでテスト結果が正解率96.6%でした。これもかなりいい結果と思っていたのですが今回負けて少し悔しかったです。

Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away