はじめに
気軽にAIの学習やタスク(分類とか予測)を体験してみたいが、高価なAI用の機材が必要なのではないか？と思われるかもしれませんが、無料で、画像、音声、ポーズを認識する機械学習モデルを簡単に作成できる、Teachable Machineというサービスが存在します。
この記事では、Teachable Machineを利用して実際に画像分類を実施してみます。
上記の機械学習はAIの一分野であり、Teachable Machineでは機械学習の手法の1つであるディープラーニング(深層学習)が利用されています。
何をしたい？できる？
- 簡単に分類する為のモデル(判断ルール)を作成したい
- 分類したい画像を使って、機械学習モデル学習の体験
- 作った機械学習モデルで、画像を分類できるかの体験
用意するもの
- PC (Webカメラ付きのノートPCだと簡単に体験できます)
- Webブラウザ (Chromeだとエラー無く進めると思います)
- 分類したいもの (野菜、ジュース、文房具、ぬいぐるみ等、用意できそうなもの)
機械学習モデルの学習と推論までの簡単な流れ
学習から分類を行うまでの流れとしては、以下のような流れになります。
1. 分類に使う画像を用意(各画像は正解がついている[犬の画像には、犬というラベル])
学習では使わないけれども、類似している画像があるとモデルを試す時に利用することができます。
2. 用意した画像を使って学習(判断ルールの作成)
3. 学習の結果、作成されたモデル(判断ルール)を使って分類を試す
Teachable Machineの操作手順
この例では、3種類の分類を実施します。
1. Teachable Machineへアクセス
[使ってみる]をクリックします。
2. [画像プロジェクト]をクリック
3. [標準の画像モデル]をクリック
4. [ウェブカメラ]をクリック
操作PC上に既に画像を用意しているのであれば、[アップロード]から画像を追加も可能です。
この例では、上手く学習できるように100枚位の画像を用意したいので、ここではウェブカメラを利用して画像を追加します。
4. 色々な方向から[長押しして録画]をクリックしながら撮影
5. 鉛筆マークをクリックし、撮影画像の分類(正解)を入力
6. 別の画像を撮影する為、Class2で同じ操作を繰り返す
7. 3種類目の画像を撮影する為、[クラスを追加]をクリックしてから同じ操作を繰り返す
8. [モデルをトレーニングする]をクリックして学習開始
9. プレビューでは学習で利用していないものを使って分類
学習に利用していないが、似ているものを使って分類結果を試してみます。
以下画像にあるように、恐竜くんパペットのポーズを学習時の分類に合わせる事で、結果が変わってくるのが確認できます。
全く関係ない画像では、正解ではないけれども、3つの分類で一番近いものが回答されます。
わからないものは、不明と言って欲しいところですが、分布外データの検知といった手法が必要となってきますので、ここでは割愛します。
モデルのエクスポートを試す
作成したモデルをTeachable Machineのクラウド上にアップロードして、API経由で分類を試す事ができます。
ここでは、以下のようなサービス構成で画像分類を試すイメージになります。
(例ではWebサーバは用意してないので、置き換えてイメージして下さい)
1. プレビュー部分にある[モデルをエクスポートする]をクリック
出力形式を選択する画面が出てくるので、 TensorFlow.js の「アップロード(共有可能なリンク)」を選択し、「モデルをアップロード」をクリックします。
2. モデルのアップロード
出力形式を選択する画面が出てくるので、TensorFlow.js の「アップロード(共有可能なリンク)」を選択し、「モデルをアップロード」をクリックします。
3. 生成されたコードのコピー
コードを使用するスニペット」のJavascript のコードをコピーし、Webサイトのbody タグ内などに貼り付ける事で利用できるようになります。
簡易的に試す場合は、index.html ファイルを作り、 「コードを使用するスニペット」のJavascript のコードをコピーしてbody タグ内に貼り付けてからブラウザで読み込むことがで試すことができます。
//ファイル名はindex.htmlとして作成します
<!doctype html>
<html lang="en">
<head>
</head>
<body>
// ここにコピーしたコードを貼り付けます
</body>
</html>
4. ブラウザでindex.html を開いて、[start]をクリック
カメラの使用を許可すると、画像分類を試すことができます。
モデルのダウンロードを試す
作成したモデルをダウンロードして、Python環境で分類を試す事ができます。
例ではPython環境を簡単に利用する為に、Google Collaboratoryを使って、全てクラウド上で試します。
Google Collaboratoryはgoogleアカウント作成を行うことで利用可能です。
(例ではWebサーバは用意してないので、置き換えてイメージして下さい)
Google Collaboratoryについての詳細は以下が参考になります。
https://atmarkit.itmedia.co.jp/ait/subtop/features/di/deeplearningenv_index.html
1. モデルのダウンロード
出力形式を選択する画面で、TensorFlowの「Keras」を選択し、「モデルをダウンロード」をクリックします。
2. ダウンロードしたモデルをGoogle Collaboratoryへアップロード
Google Collaboratory上で[ファイル]を選択し、[ノードブックを新規作成]を選択します。
新規タブで画面左側にあるフォルダアイコンをクリックして、表示された部分にTeachable Machineからダウンロードしたファイルをドラッグ&ドロップでアップロードします。
3. 分類したいファイルのアップロード
分類したいファイルをドラッグ&ドロップでアップロードします。
アップロードしたファイルは、以下のコードをGoogle Collaboratoryのセルに記載して実行([Shift+Enter]もしくはセル左側の矢印をクリック)する事で確認できます。
ファイル名は実際にアップロードしたものに合わせて変更が必要です。
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
img = mpimg.imread("ファイル名を記載")
imgplot = plt.imshow(img)
4. Teachable Machineのコードコピーと修正
Teachable Machineのモデルをダウンロードした画面で、コードをコピーし、Google Collaboratoryのセルに貼り付けます。
2022/10月時点では以下の項目の修正が必要となります。
・セルに張り付けたコードの分類ファイル名部分を実際にアップロードしたものに合わせて変更
・アップロードしたモデル名の"M"が小文字なので、コードのモデル名も小文字に変更
・アップロードした画像のサイズ変更部分のコードが古いので書き換え
以下の部分をコピペして置き換えて頂ければと思います。
#resize the image to a 224x224 with the same strategy as in TM2:
#resizing the image to be at least 224x224 and then cropping from the center
size = (224, 224)
#image = ImageOps.fit(image, size, Image.Resampling.LANCZOS)
image = image.resize((size),resample=Image.BICUBIC)
5. 分類の実行
Google Collaboratoryに貼り付けて修正したコードを実行([Shift+Enter]もしくはセル左側の矢印をクリック)すると、分類結果が表示されます。
後は、ファイル名を変更して、繰り返して分類を試すことができます。
(余談)画像を加工してどうなるかを試す
参考までに、色とポーズのどちらの影響が強いかを見る為に、同じ画像の色を変化して分類結果がどうなるか試してみます。
OpenCVの関数imread()の画像読み込みは色の順番がBGRとの事なので、それを利用して画像を変換させて、変換後のファイル名を指定しての分類を実施した結果となります。
import matplotlib.pyplot as plt
import cv2
#ファイルの読み込み
img2 = cv2.imread("変更前のファイル名")
#ファイルの保存
plt.imsave('変換後のファイル名', img2)