この記事は、Twilio Advent Calendar 2022の11日目の記事となります。
2022-05-10 にTwilio VideoのVideo Insights機能が正式リリースされました。
https://www.twilio.com/blog/video-insights-is-now-generally-available-jp
今年一年のTwilioの振り返りとして、この機能に助けられたので、この機能を使って実際にビデオ通話の品質を改善した取り組みについて紹介したいと思います。なお実際の改善はチームメンバーとともに行いました。（というかチームメンバーの@gogutanがすべて実施してくれて、わたしはその調査報告をここにポストしただけになります）
どこが変わったか
まず下記のようにダッシュボード上で取得できる情報が圧倒的に増えました。
それぞれの個別Roomに対しても通話履歴としてパケットロス、ビットレートなど各種情報を取得することができるようになりました。
Insightsの情報をもとに調査→改善したポイント
その(1)
まず不具合報告をもとに問題がありそうな通話をチェックしました。赤枠のところがAudio:4となっていて、すでに怪しいです。
対象のパケットロスを見ると添付のようになっていました。
（ユーザーA）
Packet Loss の説明を見ると overloaded routersとhigh CPU load on the machineを解決する必要があるらしいです。
Packet Loss
Packet loss is the measurement of packets that are expected but never arrive. High packet loss can result in frequent video freezing, video frame rate drops, and choppy audio. Packet loss is usually caused by overloaded routers or high CPU load on the machine. Packet loss might also occur if there is a large number of routers in the connection path between a Participant and Twilio's servers.
つづいて、Video Regions and Global Low Latency | Twilioを読むと、Media Region の設定をgll(Global Low Latency)に変更すると、participantごとに適切なSignaling Regionが選択されるようになって通話品質が良くなる…かもしれないと気づき設定を変更しました。
（実際にビデオ通話は最初国内でテストしていたのですが、グローバルで接続するようになっていました）
下記のRoom Settingのところから変更できます。
詳しく計測していないのですが、全体的にネットワークが遅いエリアに住むユーザーに関わる不具合報告は減ったように思います。
その(2)
若干、パケットロスの回数は減ったようなのですが、引き続き発生しているようでした。
（ユーザーA-before）
（ユーザーA-after）
問題がないユーザーのグラフは下記のような感じです。
そこで同様のトラブル報告があるユーザーを集めて傾向を調査してみることにしました。
その(3)
（ユーザーB）
（ユーザーC）
（ユーザーD）
（ユーザーE）
なんとなく傾向がみてきているのですが、手元で細い回線と旧型のPCを用意してデータも取ってみました。
なお実際試してみた時のコメント
0.2Mbpsのテザリング回線と9年前のWindows機（↑のURLに貼っているスペック）でプログレスシートとビデオ通話を開いてみたんですが、めちゃくちゃ軽快に動作して驚きました。ビデオはさすがにfpsが落ちたり時々止まったりしますが、動作が重いみたいな感じではありませんでした👀
この確認で、Twilio Videoは低スペックなPCでも正常に動作するが、回線速度に問題があるときは、パケットロスはAudioとVideo同時に発生し、ビデオのfpsが落ちて止まるなどの症状が見られることがわかりました。それに対して、報告があった中で一部のユーザーは不自然にAudioのパケットロスのみ発生している事に気づきます。これは回線速度以外の部分に問題がありそうです。つまり、ハードウェアに何らかの問題があるとき、Audioのパケットロスのみ発生することがあると言えそうです。
調査と対応策まとめ
調査からの対応索をまとめると下記のとおりです。
Audioのみ不自然なパケットロスが発生しているユーザー
（ユーザーA）
（ユーザーB）
これらのユーザーに対してはハードウェア、PCやカメラなどの設定を見直してもらうことにしました。
Audio, Videoともにパケットロスが発生しているユーザー
（ユーザーC）
（ユーザーD）
（ユーザーE）
これらのユーザーに関してはネットワーク回線を見直してもらうようにしました。
他にも考えられることは、OSの設定や、ウィルス対策ソフト、デフォルトインストールソフト（プライバシー系）の動きで、ブロックされている可能性等も考慮したのですが、一旦調査としてはここまでにしました。また開発的な対応として、問題発生時のアラートを上記の情報によってわかりやすく表記し直したり、適宜リロードを行うような改修を実施しました。
まとめ
従来ではユーザーからの報告に頼らざるを得なかったトラブルシュートに対して、Twilio VideoのVideo Insights機能によってログによる調査とピンポイントの対応ができるようになりました。グローバルなビデオ通話は比較的トラブルも多く非常に助かりました。実際に使える機能改善だったと思います。Twilioの機能改善に今後も期待していきたいです。