はじめに
HoloLensアドベントカレンダーの25日目の記事です。
今年の僕のHoloLensアドベントカレンダーは、スタートアップ夢の扉の「ヌンギル」が作りたくなって始めました。全7記事、Azure Cognitive Servicesが学べる感じになっております。冬休みに試してみてください。これでUnity/C#/MRTKでAPIを叩けるね！
| Vision | Speech | Language | Decision |
|---|---|---|---|
| Computer Vision - Analyze Image - Read |
Speech-to-Text | Language Understanding | Anomaly Detector |
| Face | Text-to-Speech | Text Analytics | Personalizer |
| Custom Vision | Speech Translation | QnA Maker | Content Moderator |
| Form Recognizer | Speaker Recognition | Translator | Metrics Advisor |
| Video Indexer | Immersive Reader | ||
| ※Search（Bing Web Search API）は除いています。 |
Face API
画像をキャプチャして、顔検出を行います。
HoloLens2 × Cognitive Services Face API#HoloLens2 #Azure #CognitiveServices #MRTK #Unity #AI pic.twitter.com/B3G38kEveT
— がちもとさん@熊本 (@sotongshi) December 1, 2020
Analyze Image API
画像をキャプチャして、説明文を生成します。
"a person wearing a virtual reality headset" pic.twitter.com/sSGUxjr6XI
— がちもとさん@熊本 (@sotongshi) December 5, 2020
Text-to-Speech API
説明文を読み上げます。
テキストを読み上げ#TTS #HoloLens2 #MRTK #SpeechSDK #Azure #CognitiveServices #Unity pic.twitter.com/GBFkLzCkIJ
— がちもとさん@熊本 (@sotongshi) December 5, 2020
Translator API
英語の説明文を日本語に翻訳し、読み上げます。
画像キャプチャ→画像説明文生成→説明文（英語）→日本語に翻訳→音声合成（SSML, 標準音声, 男性, ja-JP-Ichiro）#Azure #CognitiveServices #画像分析 #Translator #TTS #API #AI #HoloLens2 #MRTK #Unity #OpenCV pic.twitter.com/UVVq0yfSWq
— がちもとさん@熊本 (@sotongshi) December 10, 2020
Speech-to-Text API
音声認識し、アクションします。
音声認識→画像説明文生成→翻訳→音声合成
— がちもとさん@熊本 (@sotongshi) December 10, 2020
👦「ヨンシル」
🤖「はい」
👦「何が見える？」
🤖「赤と黄色の電子機器を持つ手」
🤖「装置を持っている人」www#Azure #CognitiveServices #ComputerVision #Analyze #Translator #TTS #SpeechRecognition #SpeechSDK #HoloLens2 #Unity #MRTK #OpenCV pic.twitter.com/xfbm90F5hr
Read API
画像をキャプチャし、テキストを抽出し、読み上げます。
画像から文字を読めるようになった！#Azure #CognitiveServices #OCR #Read #TTS #HoloLens2 #MRTK #Unity #AI pic.twitter.com/e37gEAQhO0
— がちもとさん@熊本 (@sotongshi) December 13, 2020
Custom Vision API
物体検出し、読み上げます。
小銭数えれるようになった #HoloLens2 #MRTK #Azure #CognitiveServices #CustomVision #Unity pic.twitter.com/2MI94x9zvF
— がちもとさん@熊本 (@sotongshi) December 19, 2020
さいごに
皆さん、2020年お疲れ様でした！よいお年を！