Watsonで、でんぱ組.incのメンバー写真を識別してみた（ウォンバットそして終わりのない悲しみ）

IBMからWatson Developer Cloudという、Watsonのテクノロジーを開発者が利用できるライブラリが提供されています。
その中にVisual Recognitionという画像認識のライブラリがあり、それを使ってでんぱ組.incの各メンバーの写真を識別できるか試してみました。

ちなみに、でんぱ組.incは以下のような構成になっております。

Watson Developer Cloudについて

IBM Bluemixに登録することで、1ヶ月間無料で使うことができます。
ライブラリは画像認識以外にもたくさんあり、テキスト分類、翻訳などがあります。

データ収集

Visual Recognitionでは、ユーザが自由に分類器のモデルを作成することができます。
今回はメンバーの画像を集め、それを用いて各メンバーのモデルを作成しました。

モデル作成には150-200枚の画像があると良いとあり、またモデル作成にはポジティブデータとネガティブデータが同数必要なので以下の様な構成で学習しました。

• ポジティブデータ: そのメンバーの写真150枚
• ネガティブデータ: 他のメンバー5人の写真各30枚（合計150枚）

上記が各メンバー分あり、それぞれに対してモデルを作成します。

モデル作成は、以下のようにWeb API経由で行うことができます。

curl -u "{username}":"{password}" \
-X POST \
-F "positive_examples=@mirin.zip" \
-F "negative_examples=@other.zip" \
-F "name=mirin" \
"https://gateway.watsonplatform.net/visual-recognition-beta/api/v2/classifiers?version=2015-12-02"

テスト

メンバーの写真を識別できるかテストします。

テストには各メンバー30枚の画像を用いました。
もちろんですが、この画像は学習には用いていない画像です。

テストも以下のようにWeb API経由で行うことができます。

curl -u "{username}":"{password}" \
-X POST \
-F "images_file=@test.jpg" \
-F "classifier_ids=<classifierlist.json" \
"https://gateway.watsonplatform.net/visual-recognition-beta/api/v2/classify?version=2015-12-02"

結果は以下となりました。

	古川未鈴	相沢梨紗	夢眠ねむ	成瀬瑛美	最上もが	藤咲彩音
適合率	61.1%	58.3%	44.2%	76.7%	85.2%	50.0%
再現率	36.7%	46.7%	63.3%	76.7%	76.7%	43.3%
F値	0.459	0.519	0.521	0.767	0.807	0.464

成瀬瑛美さんと最上もがさんが非常に高いスコアとなっています。
これは髪の色が強く効いているのではと推測されます。

ベースラインは1/6なので、人種・性別・年齢・メイクが似通っており、学習に150枚程度でもそれなりに上手く機能しているのではないかと思います。

ウォンバットそして終わりのない悲しみ

古川未鈴さんは一部からウォンバットに似ていると言われています。
本当にそうなのか上記の識別器を用いて検証しました。

ちなみにウォンバットはこちらになります。

ウォンバットの画像72枚を用意し、どのメンバーに分類されるか実験しました。
結果は以下のようになりました。

	古川未鈴	相沢梨紗	夢眠ねむ	成瀬瑛美	最上もが	藤咲彩音
分類率	1.4%	4.2%	40.3%	13.9%	33.3%	6.9%

予想に反して、古川未鈴さんは全然似ていないと判断され、夢眠ねむさんが非常に似ているという結果となりました。
夢眠ねむさんは適合率がそれほど高くなかったのですが、それを鑑みても高い値となっていると考えられます。

また、最上もがさんも似ていると判断されておりますが、これはウォンバットの毛の色と最上もがさんの髪色が近いためではないかと推測されます。

結論

Watson的には、古川未鈴はウォンバットに似ていない