ビデオ通話やライブ配信中に不安定、バッファリング、画質の低下、音声と映像の同期ずれなどのフラストレーションを感じたことはありませんか？
ページを何度もリフレッシュしたり、アプリケーションを終了したくなるのは理解できます。これらの問題は、ネットワークジッタによって引き起こされることがあります。
プロの音声・映像開発者として、ジッタの原因を理解し、解決策を見つけることは、ユーザーに高品質な音声・映像通話サービスやライブ配信体験を提供するために重要です。
ジッタとは
まず、データパケットとは何かを理解しましょう。音声・映像データをキャプチャした後、送信者はこのデータを一連の小さなデータパケットにエンコードし、ネットワークを介して受信者に送信します。受信者がデータパケットを受け取ると、アンパックやデコードなどの操作を行い、最終的に処理された音声データをプレイヤーに渡して再生します。
リアルタイムの音声・映像伝送では、ネットワーク遅延、パケットロス、帯域幅の制限などの要因により、データパケットの伝送速度が変動することがあります。これにより、受信者側でパケットの到着時間が不安定になり、ジッタが発生します。
ジッタの原因
ジッタは通常、ネットワーク伝送や再生プロセスの不安定さに関連しています。以下はジッタの可能な原因です：
- ネットワーク遅延：リアルタイムの音声・映像伝送中に、データパケットがネットワークを通じて異なる程度の遅延に遭遇することがあります。これにより、パケットの到着時間が不安定になり、ジッタが発生します。
- パケットロス：ネットワーク環境でのパケットロスは、特定のビデオフレームが受信者に届かない原因となり、フレームスキップやフリーズなどのジッタ現象を引き起こします。
- 帯域幅の制限：ネットワーク帯域幅が高品質なデータ伝送をサポートするのに不十分な場合、データパケットの伝送速度が不安定になり、ジッタが発生します。
- コーデックの性能：コーデックの性能もジッタに影響を与えることがあります。コーデックの処理速度がデータパケットの伝送速度に追いつかない場合、スタッタリングやフレームスキップ現象が発生します。
- プレイヤーの問題：プレイヤーがビデオフレームを処理する際に安定した再生速度を維持できない場合、ビデオジッタが発生することがあります。
ジッタの測定
ネットワークジッタの測定は、主にパケット到着時間の変動の程度を計算することに関わります。以下はジッタを測定するための一般的な方法です：
- 平均ジッタ：連続するパケットの到着時間の差を計算し、これらの時間差の平均を求めます。平均ジッタはネットワーク遅延の全体的な変動を反映しますが、瞬間的なジッタ現象を正確に説明することはできません。
- ジッタ分散：連続するパケットの到着時間の差を計算し、これらの時間差の分散を求めます。ジッタ分散はネットワーク遅延の変動の程度を反映し、値が大きいほどジッタが深刻であることを示します。
- 最大ジッタ：連続するパケットの到着時間の差を計算し、最大の時間差を特定します。最大ジッタはネットワーク遅延の最大変動を反映しますが、極端な値に影響されることがあります。
- パーセンタイルジッタ：連続するパケットの到着時間の差を計算し、これらの時間差の特定のパーセンタイル値（例：95パーセンタイル）を求めます。パーセンタイルジッタは極端な値の影響を減らしながらネットワーク遅延の変動を反映します。
- エンドツーエンド遅延：送信者と受信者の間の総遅延を計算します。この指標はネットワーク遅延、処理遅延などのさまざまな要因を含み、通信品質に対するジッタの影響を包括的に反映します。
実際のアプリケーションでは、特定のシナリオや要件に基づいて適切な方法を選択してジッタを測定することが可能です。また、パケットロス率、帯域幅などの他のネットワーク指標と組み合わせて、ネットワーク状態や通信品質を評価することも可能です。
ジッタを減らす方法
音声と映像のリアルタイム性と時間的性質のため、ジッタは音声と映像の品質に大きな影響を与えます。ジッタを減らすためには、以下の技術手段と戦略を採用することができます：
- フレームドロップ戦略：ネットワーク条件が悪い場合、非キーフレームを選択的に破棄することで、品質を下げつつもスムーズさを維持することができます。
- フレーム同期アルゴリズム：アルゴリズムを使用してデータフレームの到着時間を予測し、再生中の安定した間隔を維持します。
- 適応ビットレート調整：ネットワーク条件に基づいてビデオビットレートを動的に調整し、異なる帯域幅環境に適応してジッタの発生を減らします。
- ジッタバッファ：受信側にジッタバッファを設定し、受信したデータパケットの順序を調整して再生中のジッタを減らします。
- コーデック性能の最適化：高性能のコーデックを選択するか、既存のコーデックの性能を最適化して処理速度を向上させ、スタッタリングやフレームスキップを減らします。
- ネットワークの最適化：より良い伝送プロトコルを選択し、ネットワークルーティングを最適化するなどのネットワークレベルでの対策を実施して、ネットワーク遅延やパケットロスを減らし、データ伝送の安定性を向上させます。
- プレイヤーバッファリング：プレイヤー側にバッファを設定して受信したデータをキャッシュし、再生時間に余裕を持たせてジッタを減らします。
- プレイヤー性能の最適化：プレイヤーの内部処理フローを最適化して、データフレームを安定した速度で再生できるようにし、ジッタを減らします。
ジッタバッファ
ジッタバッファは、リアルタイムの音声・映像伝送においてジッタを減らすための技術です。受信側にバッファを設定し、受信したデータパケットの順序を調整して再生中のジッタを減らします。
簡単に言えば、ジッタバッファはネットワークからの不均一なデータパケットをバッファリングし、それを均等にデコーダに渡してデコードするための貯水池のようなものです。