Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationEventAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
3
Help us understand the problem. What is going on with this article?

More than 3 years have passed since last update.

@sublimer

SkyWay × Cognitive Service

SkyWay × Cognitive Service

by sublimer
1 / 8

Cognitive Serviceってご存知ですか?

  • Microsoftが開発した画像、音声、文章などを認識・分析してくれるサービス
  • 今回はFace APIを使用

写真に含まれる顔の検出、識別、分析、グループ化、タグ付け


今回作ったもの

  • 感情分析機能付きビデオチャット
  • ビデオチャットをしている相手の顔を分析して感情などを推測してくれる
  • ほかにも、年齢、眼鏡をかけているか、といった情報を表示

デモ

https://github.com/Kadoshita/skyway-x-cognitiveservice

  • cloneして動かしてみてください。
  • SkyWayとFace APIのAPI KEYは自分のものに置き換えてください。

仕組み

  1. ベースはSkyWayのP2Pのビデオチャット
  2. 非表示の <canvas> があり、定期的に drawImage() を使用して映像を一コマ描画
  3. その一コマを toBlob() でBlobに変換してFaceAPIにPOST
  4. 返ってきた結果をSkyWayのDataConnectionを使用して相手に送信
  5. 認識結果を受信したら各項目を表示

仕組み.png


SkyWayのここがいい!

  • Webページに「通信」の機能を 簡単に 追加できるところ
  • ビデオチャットなどの機能に着目しがちですが、データのやり取りを簡単にできるところも利点だと思います
  • 自分でサーバー側の開発、運用をしなくていい

今後の改良点

  • 複数人でも使用可能にする
    • SFUを使用したサンプルをベースに作成
    • SFUを使うと負荷が抑えられる(P2Pだと3人以上はつらい…)

まとめ

  • 映像や音声の認識を行うことで、付加価値を付けることができます。
  • Cognitive ServiceにはFace API以外にも様々なAPIがあります。
  • SkyWayとCognitive Serviceを組み合わせることで、おもしろいビデオチャットができるかもしれません。
3
Help us understand the problem. What is going on with this article?
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
3
Help us understand the problem. What is going on with this article?