Help us understand the problem. What is going on with this article?

SkyWay × Cognitive Service

More than 1 year has passed since last update.

SkyWay × Cognitive Service

by sublimer
1 / 8

Cognitive Serviceってご存知ですか?

  • Microsoftが開発した画像、音声、文章などを認識・分析してくれるサービス
  • 今回はFace APIを使用

写真に含まれる顔の検出、識別、分析、グループ化、タグ付け


今回作ったもの

  • 感情分析機能付きビデオチャット
  • ビデオチャットをしている相手の顔を分析して感情などを推測してくれる
  • ほかにも、年齢、眼鏡をかけているか、といった情報を表示

デモ

https://github.com/Kadoshita/skyway-x-cognitiveservice

  • cloneして動かしてみてください。
  • SkyWayとFace APIのAPI KEYは自分のものに置き換えてください。

仕組み

  1. ベースはSkyWayのP2Pのビデオチャット
  2. 非表示の <canvas> があり、定期的に drawImage() を使用して映像を一コマ描画
  3. その一コマを toBlob() でBlobに変換してFaceAPIにPOST
  4. 返ってきた結果をSkyWayのDataConnectionを使用して相手に送信
  5. 認識結果を受信したら各項目を表示

仕組み.png


SkyWayのここがいい!

  • Webページに「通信」の機能を 簡単に 追加できるところ
  • ビデオチャットなどの機能に着目しがちですが、データのやり取りを簡単にできるところも利点だと思います
  • 自分でサーバー側の開発、運用をしなくていい

今後の改良点

  • 複数人でも使用可能にする
    • SFUを使用したサンプルをベースに作成
    • SFUを使うと負荷が抑えられる(P2Pだと3人以上はつらい…)

まとめ

  • 映像や音声の認識を行うことで、付加価値を付けることができます。
  • Cognitive ServiceにはFace API以外にも様々なAPIがあります。
  • SkyWayとCognitive Serviceを組み合わせることで、おもしろいビデオチャットができるかもしれません。
sublimer
諸事情により、記事は全てはてなブログに移行しました。 All articles has moved to hatena blog due to various reasons.
https://sublimer.hatenablog.com
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした