はじめに

HoloLensアドベントカレンダーの25日目の記事です。
今年の僕のHoloLensアドベントカレンダーは、スタートアップ夢の扉の「ヌンギル」が作りたくなって始めました。全7記事、Azure Cognitive Servicesが学べる感じになっております。冬休みに試してみてください。これでUnity/C#/MRTKでAPIを叩けるね！

Vision	Speech	Language	Decision
Computer Vision - Analyze Image - Read	Speech-to-Text	Language Understanding	Anomaly Detector
Face	Text-to-Speech	Text Analytics	Personalizer
Custom Vision	Speech Translation	QnA Maker	Content Moderator
Form Recognizer	Speaker Recognition	Translator	Metrics Advisor
Video Indexer		Immersive Reader
※Search（Bing Web Search API）は除いています。

Face API

画像をキャプチャして、顔検出を行います。

HoloLens2 × Cognitive Services Face API#HoloLens2 #Azure #CognitiveServices #MRTK #Unity #AI pic.twitter.com/B3G38kEveT
— がちもとさん@熊本 (@sotongshi) December 1, 2020

Analyze Image API

画像をキャプチャして、説明文を生成します。

"a person wearing a virtual reality headset" pic.twitter.com/sSGUxjr6XI
— がちもとさん@熊本 (@sotongshi) December 5, 2020

Text-to-Speech API

説明文を読み上げます。

テキストを読み上げ#TTS #HoloLens2 #MRTK #SpeechSDK #Azure #CognitiveServices #Unity pic.twitter.com/GBFkLzCkIJ
— がちもとさん@熊本 (@sotongshi) December 5, 2020

Translator API

英語の説明文を日本語に翻訳し、読み上げます。

画像キャプチャ→画像説明文生成→説明文（英語）→日本語に翻訳→音声合成（SSML, 標準音声, 男性, ja-JP-Ichiro）#Azure #CognitiveServices #画像分析 #Translator #TTS #API #AI #HoloLens2 #MRTK #Unity #OpenCV pic.twitter.com/UVVq0yfSWq
— がちもとさん@熊本 (@sotongshi) December 10, 2020

Speech-to-Text API

音声認識し、アクションします。

音声認識→画像説明文生成→翻訳→音声合成
👦「ヨンシル」
🤖「はい」
👦「何が見える？」
🤖「赤と黄色の電子機器を持つ手」
🤖「装置を持っている人」www#Azure #CognitiveServices #ComputerVision #Analyze #Translator #TTS #SpeechRecognition #SpeechSDK #HoloLens2 #Unity #MRTK #OpenCV pic.twitter.com/xfbm90F5hr
— がちもとさん@熊本 (@sotongshi) December 10, 2020

Read API

画像をキャプチャし、テキストを抽出し、読み上げます。

画像から文字を読めるようになった！#Azure #CognitiveServices #OCR #Read #TTS #HoloLens2 #MRTK #Unity #AI pic.twitter.com/e37gEAQhO0
— がちもとさん@熊本 (@sotongshi) December 13, 2020

Custom Vision API

物体検出し、読み上げます。

小銭数えれるようになった #HoloLens2 #MRTK #Azure #CognitiveServices #CustomVision #Unity pic.twitter.com/2MI94x9zvF
— がちもとさん@熊本 (@sotongshi) December 19, 2020

さいごに

皆さん、2020年お疲れ様でした！よいお年を！