2月14日といえばバレンタインデーですね。
学生であれば、急にソワソワしだして何気なく机の中や下駄箱の中、ロッカーなどを探った経験があるんじゃないでしょうか。チョコが入っていなくて、人知れず落ち込み、お母さんから貰ったチョコで慰めてもらう。そんな苦い経験もあるかと思います。
運良く、チョコレートを貰ったかと思えば、
今度はこのチョコは義理か本命なのか？と悩むはめになります。
明らかに、本命であれば良いですが微妙なラインのやつってありますよね。
という訳で今回、AIでバレンタインチョコが義理か本命か判別する｢バレンタイン先生」を作りました。
こちらから友達登録できます！
今回の課題
- バレンタインデーで義理チョコか本命チョコかわからない
- そもそもチョコが貰えないという課題については今回は触れない
- 先行研究は存在するが根拠に欠ける
- AIを用いた先行研究も存在するが中高生が気軽に試すことができない
- さらにより判別の精度を高めたい
解決策
- バレンタインデーのチョコを判別するAIのLine Botを作れば気軽に誰でも試せる！
- 精度はGoogle先生が作ったGoogle Cloud AutoML Visionを使えば上がるんじゃないのか？？
- 義理チョコと、本命チョコとは何か？もGoogle先生に聞いて解決しよう！
かなりのGoogle先生頼みです！
作成したもの
- Lineでチョコの画像を送ると、義理チョコか本命チョコか教えてくれる「バレンタイン先生」
- 義理チョコ2733枚、本命チョコ3492枚の画像を学習したバレンタインマスターな先生。
使い方
- LineのQRコードで友達登録！
- 友達登録したら、チョコの画像を送ってみてください。今回はブラックサンダーの画像を送ってみます。
- その結果を先生が教えてくれます。
本命の場合は
他にもバレンタインに関する名言を呟いてくれます。
スーパーで買ってきたチョコレートで試してみる
Ghanaのミルクチョコレート
99.65%の確率で義理判定
meiji The Chocolate（赤）
58.05%の確率で本命判定
meiji The Chocolate（青）
96.01%の確率で義理判定
なにやら高級そうなチョコレート
99.09%の確率で本命判定
コアラのマーチ
99.99%の確率で義理判定
実装方法
前処理
- Google画像検索で「義理チョコ」「本命チョコ」と検索した結果をPythonでスクレイピング
- 本命チョコで画像検索した結果
- 義理チョコで画像検索した結果
- Pythonでスクレイピングをしローカルに保存
-
取得した画像を水増し、義理チョコ2733枚、本命チョコ3492枚に増やす
Google Cloud AutoML Visionに画像を学習させる
画像ファイルのアップロードとラベル付け
ブラウザ上でチョコの画像を判定
実行時の処理
- Lineからチョコの画像を送るとそれが、Herokuに送信されます。
- それをHerokuで上で受け取りGoogle Cloud AutoML Visionに画像を渡します。
- Google Cloud AutoML Visionはチョコ画像が義理か本命かを確率で返してくれるので、それをHeroku上で受け取ります。
- 返ってきた結果をメッセージにしてLINEに渡して、LINE上でメッセージを返す
- 具体的な実装方法はこちらに詳しく記載しました。
【画像認識を利用したAIアプリ】LINEに画像を送ったら自動で判定してくれる機械学習アプリを作ろう
もっとやりたいこと
- Lineの審査に落ちてしまったので、出来れば審査を通して検索できるようにしたい！
- APIだけじゃなくて、自分で学習モデルを組んでみたい
- バレンタイン関係ないけど、双子の画像を高精度で判別したい
- リッチテキスト？とかでかっちょよくしたい
- 親も間違う双子の声をAIに判別させたい（音声解析？）
チュートリアル書いてみました
- 具体的な実装方法は以下にチュートリアルとして詳しく書いたので、気になった方は是非読んでみてください。
【画像認識を利用したAIアプリ】LINEに画像を送ったら自動で判定してくれる機械学習アプリを作ろう
- バレンタイン先生を0から実装できます！
- 結構詳しく書いたので、プログラミング学び始めの方でも読めるようになっています。
- 是非、読んでみてください！