高専祭にて開催したファンメイドライブ(MikuIT-δ)で、FOH(音響・映像卓)からステージ側へ映像と照明をリアルタイム伝送するために組んだインフラ構成と、その過程で直面したハードウェアの壁・自作した低遅延映像伝送プロトコル 「Nagi」 の技術記録です。
当初はCisco Catalyst 3850を用いたA/B冗長構成を予定していましたが、現場でのトラブルシューティングを経て「ConnectX-4 Lxによる10GbE光ファイバー2本直結」という、とてもシンプルな物理構成へ着地しました。
1. 全体アーキテクチャ
本番運用構成は、スイッチを介さずFOHの「映像PC」とステージ側の「処理PC」を2本の10G光ケーブル(AOC)で直接接続していました。
信号経路の役割分担
| 系統 | サブネット | 伝送内容 | 特徴・設計意図 |
|---|---|---|---|
| Art-Net 系統 | 10.10.0.0/24 |
照明制御信号 (UDP 6454) | 照明PCからの信号を映像PCのWindowsブリッジ経由で光へ流す。GWなし。 |
| Nagi / 保守系統 | 10.20.0.0/24 |
映像ストリーム / SSH / 監視 | OBSのPGM出力(1080p30)と、FOHからのSSH監視・制御通信。GWなし。 |
| 外部網 | 192.168.128.0/24 |
インターネット(映像PCのみ) | 処理PCにはインターネット向け経路(デフォルトGW)を設定せず、外部向けNIC(eno1)もDOWNさせて意図しない通信を防ぐ。 |
2. 現場で起きた問題:拡張モジュールの10G非対応と「光直結」への変更
当初はL3スイッチCisco Catalyst 3850(WS-C3850-24T-E)2台を使い、VLANを切ってA/B冗長構成を組む設計でした。しかし、本番直前の検証で大きな壁にぶつかることとなりました。
拡張モジュール C3850-NM-4-1G でAOCケーブルが err-disabled になる問題
Catalyst 3850自体には10G対応の拡張モジュールも存在しますが、手元の機材に搭載されていたアップリンクモジュールは C3850-NM-4-1G でした(1Gモジュールであることは、前日まで気付いていませんでした)。
ここに10GのAOC(Active Optical Cable)を挿したことで、起動のたびに gbic-invalid でポートが err-disabled になったようです。
一応、強制認識を試みました。
service unsupported-transceiver
no errdisable detect cause gbic-invalid
これで err-disabled 自体は回避できたものの、ポート状態は notconnect のまま受信フレームが0から動きません。調査の結果、搭載されていた C3850-NM-4-1G は1G専用であり、やはり駆動できないことが判明しました。
決断:スイッチをバイパスして10G直結へ
このままでは動かないため、ステージ側PCに挿さっていたMellanox ConnectX-4 Lx(MCX4121A-ACAT)をFOH側の映像PCへ移植。両端をConnectX-4 Lxにし、2本のAOCを直接つなぐ構成へ切り替えました。
結果として、両リンクとも 10Gbpsでリンクアップし、pingのパケットロス0・応答速度1ms未満という極めて安定した伝送路が確立できました。
3. ステージ側「処理PC」のソフトウェア設計
ステージ側に置いた処理PC(Core i7-9700K / RTX 3060 / Rocky Linux 9.8、カーネル 5.14.0-687.10.1.el9_8.0.1)では、映像と照明の変換・出力を担うデーモンを動かしていました。
描画スタックとDRMコネクタの扱い
デスクトップ環境(X11/Wayland)のオーバーヘッドやコンポジタの遅延をなくすため、C++で書いた映像受信バックエンド ndi-hdmi はSDL2(KMSDRM)を使って /dev/dri/card0 へ直接描画しています。
-
DRM出力の分離:GPU(NVIDIA GA106 / RTX 3060)上の出力コネクタのうち、
DP-1はカーネルのテキストコンソール(tty1)として操作用TUIに割り当て、ndi-hdmi側では/sys/class/drm/card<N>-*からHDMI-Aで始まるコネクタ(HDMI-A-1)のみを明示的に選択してDRMマスター権限で描画させています。これにより、左右反転したステージ用映像が管理用モニター(DP-1)に出力されるのを防いでいます。 -
ドライバ構成:プロプライエタリドライバではなくオープンソーススタック(
nouveau+ Mesa25.2.7のzink/NVK構成)で動作させており、NDI SDKの試験送信(1600×1200/60fps)にて60fps描画を確認しています(※Mesa公式のNVK推奨カーネルは6.6以上ですが、本環境ではEL9系カーネル5.14上で動作確認済)。 -
左右反転:ステージ上の投影スクリーンに合わせるため、NDIで受け取った映像だけでなく待機画面やステータス表示も含めて、HDMI側はすべて左右反転させて出力しています。
エンジンとTUIのプロセス分離
本番中に操作画面(TUI)が固まったり、SSHが切れたりしても映像と照明が止まらないよう、入出力を担うコアエンジンとUIを分離しました。
systemd --user: mikuit-engine.service
└─ mikuit --serve --start --ack-open-dmx (入出力エンジン本体)
├─ artnet-rx UDP 6454 受信(IP_PKTINFOでNIC判別)
├─ dmx-output FT232R (Open DMX) へ 30Hz 固定周期出力
└─ ndi-hdmi 子プロセス。NDI受信 → KMSDRMへ左右反転描画
Unixソケット ~/.noc/engine.sock (0600)
├─ mikuit ステージ側 DP-1 (tty1) のローカルTUI
└─ mikuit --attach --json FOH側映像PCからSSH越しに叩く監視用JSONフィード
-
自動起動の仕組み:
tty1の自動ログインでlogindのデバイスアクセス権(ACL)を取得させ、ユーザーのsystemdサービス経由でエンジンを起動します。電源投入から待機画面、NDI受信開始まで全自動で遷移します。 -
2系統の経路監視ハートビート:FOH側の監視TUIは、Art-Net用(
10.10.0.0/24)とNDI用(10.20.0.0/24)の光ケーブル1本ごとに独立したSSHセッションを張り、1秒ごとにJSONを受け取ります。このハートビートは映像やDMX信号そのものではなく「光リンク上のIP経路とエンジンの応答生存」を監視するもので、どちらかのSSH経路が途絶えるとHDMI待機画面上のランプが点滅(OK)から琥珀色(STALE)や赤(DOWN)に切り替わります。
ハマりポイント:Linuxの firewalld とソケット受信バッファ
-
firewalldのデフォルトゾーン:Rocky Linuxの初期状態(publicゾーン)では、Art-NetのUDP 6454がドロップされていました。信号用の2つのNICをtrustedゾーンへ割り当てることで解決しました。 -
受信ソケットバッファの拡大:Linuxではアプリケーションが
setsockopt(SO_RCVBUF)で要求できる上限がnet.core.rmem_maxで制限されており、さらにカーネルは管理領域を含めて要求値の2倍をgetsockopt(SO_RCVBUF)の実効値として返します。デフォルト状態(rmem_max= 212,992 byte)では実効値が425,984 byte(約416KiB)にとどまり、高ビットレートな映像フレーム到着時にソケットの受信キューがあふれます。
そこで、カーネルパラメータnet.core.rmem_maxを引き上げた上で、受信アプリケーション側からもソケット生成時に大きなSO_RCVBUF(256MiB相当の268,435,456 byteや 64MiB の67,108,864 byteなど)を明示的に要求する設計としました。
4. さらなる低遅延を求めた自作プロトコル「Nagi」
前日試験では実績のあるNDIで稼働させていましたが、「NDIのエンコード・デコード遅延すら削り、10G直結の帯域を活かして生データをそのまま飛ばしたらどこまで速くなるのか?」という動機から、自作RTP伝送プロトコルNagi(ver2: rtp-raw422-fec)を開発しました。
これは結果として、当日の機材トラブルによってOBSのオフセット調整をする時間がない中で、ほとんど遅延のない映像・音声出力を実現できました。
設計思想:圧縮を捨てて非圧縮UYVYを流す
初期のver1(rtp-jpegxs-fec)では1GbE環境を想定してJPEG XSによる圧縮を行っていましたが、10G光直結へ切り替えたことで帯域に圧倒的な余裕が生まれました。そこでver2では圧縮処理を完全に廃止し、非圧縮の YCbCr 4:2:2 8bit(UYVY)をRTPパケットに分割して直接送出する設計にしました。
フレーム構造(NGRF)
1フレームは、独自の32 byteフレームヘッダー(識別子 NGRF)に画素データ(1920 × 1080 × 2 byte = 4,147,200 byte)を続けた計 4,147,232 byte で構成されます(すべてビッグエンディアン)。
ヘッダー内訳(計 32 byte)
| フィールド | サイズ | 内容 |
|---|---|---|
Magic |
4 byte | 識別子 NGRF
|
Ver |
1 byte | バージョン |
Format |
1 byte | 画素形式(0x01=UYVY) |
Color |
1 byte | 色空間(0x00=BT.709狭帯域) |
Reserved |
1 byte | 予約領域 |
frame_id |
4 byte | フレーム番号 |
width / height
|
各2 byte | 解像度 |
stride |
4 byte | 1行のバイト数 |
data_size |
4 byte | 画素データ総量 |
pts_ns |
8 byte | OBSのタイムスタンプ |
画素データ(4,147,200 byte)
水平隣接する2画素を U0 Y0 V0 Y1 の4 byte(1画素あたり平均2 byte)で表し、画面左上から順に並べています。
映像RTPパケット構造と分割仕様
この4.15MBのフレームを、IPv4・MTU 1500環境でIPフラグメントを起こさないよう分割してUDP(ポート 21972)で送出します。標準RTPヘッダー(12 byte)の直後に、RFC 9134(JPEG XS RTP)のヘッダー形式を流用した4 byteのペイロードヘッダーを配置し、フレーム番号とフレーム内のパケット位置を格納しています。
※図中の1〜2文字の記号は文字データではなく、各1〜2ビットのフラグ領域(カッコ内は固定ビット値)を表しています。
RTP共通ヘッダー(ビット 0〜95 / 12 byte)
| フィールド | 幅 | 固定値 | 内容 |
|---|---|---|---|
V |
2bit | 2 |
RTPバージョン |
P |
1bit | 0 |
パディング有無 |
X |
1bit | 0 |
拡張有無 |
CC |
4bit | 0 |
CSRC数 |
M |
1bit | — | マーカービット。フレームの最終パケットのみ 1、それ以外は 0
|
PT |
7bit | 96 |
動的ペイロードタイプ番号 |
Sequence Number |
16bit | — | パケット連番 |
Timestamp |
32bit | — | 90kHzクロック基準のフレーム時刻(同一フレーム内は同値) |
SSRC |
32bit | — | 経路識別のための32bit乱数 |
V・P・X・CC からなる先頭1バイトは、常に 0x80 になります。
ペイロードヘッダー(ビット 96〜127 / 4 byte・RFC 9134形式)
| フィールド | 幅 | 固定値 | 内容 |
|---|---|---|---|
T |
1bit | 1 |
順次送信モード |
K |
1bit | 0 |
パケット化モード |
L |
1bit | — | 最終パケット印(M と同値) |
I |
2bit | 00 |
プログレッシブ走査 |
F |
5bit | — | frame_number mod 32 |
SEP |
11bit | — | フレーム内パケット番号 q の上位11bit |
P (Packet Counter) |
11bit | — | フレーム内パケット番号 q の下位11bit |
SEP と P を合わせた22bit(q = (SEP << 11) | P)で、フレーム内のパケット番号(0〜2880)を表します。
パケット分割
1パケットあたりのデータ部上限を 1440 byte(RTPヘッダー12 byte + ペイロードヘッダー4 byteと合わせてUDPペイロード 1456 byte)に設定。1フレームあたり 2,881パケット(最終パケット q = 2880 のみデータ部32 byte、M=1)に分割します。
パケットレートと帯域の内訳(1080p60時)
- 映像データパケットのみ:
2,881 × 60 = 172,860 packets/sec(データ本体のみで約1.991 Gbps) -
FECパケット込み(8パケットごとに1個=361個/フレーム追加):
3,242 × 60 = 194,520 packets/sec -
実測UDPペイロードレート:
2266.9 Mbps(約2.27 Gbps。1フレームあたりの映像+FECの全UDPペイロード総和4,722,740 byte × 60fpsに一致)
直結10G環境ならではの工夫
① 送信ペーシング(Pacing)によるバースト回避
1フレームの映像データ(約4.15MB)を10Gbpsの物理リンク速度のまま一気に吐き出すと、送信完了まで約3.4msしかかからず、受信側カーネルの処理が追いつく前にソケットの受信バッファがあふれて連続パケットロス(バーストロス)を引き起こします。
これを防ぐため、送信側で1フレーム分の全パケット(FEC含む)をフレーム間隔の75%の時間(60fpsなら約12.5ms、30fpsなら約25.0ms)かけて均等に散らして送出するペーシング処理を実装しました。
② 単純XORパリティFEC(RFC 5109 Level 0準拠のヘッダー・生成規則)の役割と限界
映像パケット最大8個(G=8)ごとに、RFC 5109 Level 0(short mask)のヘッダー形式および保護計算規則を用いた1つのXORパリティパケットを別ポート(21974)のRTPセッションで送出しています。
FECヘッダー(ビット 96〜207 / 14 byte)
| フィールド | 幅 | 固定値 | 内容 |
|---|---|---|---|
E |
1bit | 0 |
拡張フラグ |
L |
1bit | 0 |
ロングマスクフラグ(16bitのshort maskを使うため 0) |
P・X・CC・M・PT recovery
|
計14bit | — | RTPヘッダービットの復元用パリティ |
SN base |
16bit | — | グループ先頭パケットの映像シーケンス番号 |
TS recovery |
32bit | — | タイムスタンプの復元用パリティ |
Length recovery |
16bit | — | ペイロード長の復元用パリティ |
Protection Length L0 |
16bit | — | 保護対象の最大バイト長(1444) |
Mask |
16bit | — | 保護対象パケットを示すビットマスク(8個保護時は上位8bitが 1 の 0xFF00) |
復元用パリティは、保護対象となる最大8個の映像パケットにおける、各RTPヘッダービット・タイムスタンプ・ペイロード長同士をXOR演算したものです。
しかし、実機テストでは興味深い挙動が見られました。
-
光直結ではケーブル上のランダムなビット誤りはほぼ起きず、ロスの主因は「受信側の高負荷によるソケット受信バッファ不足(連続ロス)」にあると推定されました(※カーネルのドロップ詳細統計までは未取得)。
-
実際に高負荷下で連続45パケットが欠落した際、8パケット単位の単一XORパリティで復元できたのはわずか1パケットだけでした。
つまり、「連続ロスはFECではなく送信ペーシングと受信バッファ拡大で防ぎ、FECは突発的な単発ロスの保険として残す」という役割分担が明確になりました。
③ 時計合わせ不要の往復計測と片道遅延の推定(NGEC)
FOH(Windows)とステージ(Linux)で時刻同期が取れていなくても遅延を評価できるよう、受信側がフレームを表示バックエンドへ渡して SDL_RenderPresent が復帰した直後に、以下の 20バイトの応答パケット(NGEC) を送信元へ返す仕組みを入れました。
フィールド内訳(計 20 byte / RTPヘッダなし)
| フィールド | サイズ | 内容 |
|---|---|---|
Magic |
4 byte | 識別子 NGEC
|
frame_id |
4 byte | 対象フレームの frame_id
|
rtp_timestamp |
4 byte | 対象フレームの rtp_timestamp
|
complete_us |
4 byte | 受信側内部の経過時間(マイクロ秒単位) |
present_us |
4 byte | 受信側内部の経過時間(マイクロ秒単位) |
※描画を含まない通信単体テスト用の NGAK は、最後の present_us を除いた16 byteです。
送信機は自身のローカル時計だけで以下の計算を行います。
round_trip = (t_echo - t_send) - present_us
one_way = max(0, floor(round_trip) / 2)
send_to_present = one_way + present_us
-
present_usの計測区間:受信側が「そのフレームの最初のパケットを受理した瞬間」から「フレームを組み立て、SDL_RenderPresentが復帰するまで」の滞在時間です(ペーシングによるフレーム全体の到着待ち時間を含みます)。 -
片道遅延の推定:往復時間から受信側の滞在時間
present_usを差し引くと「往路 + 復路」の純粋な伝送時間が残ります。直結環境であってもOSのスケジューリングやキュー待ちにより往路と復路は完全に同じ時間にはなりませんが、直近20秒間の往復下限値(floor)を2で割ることで片道遅延の推定値(one_way)を算出しています。 -
表示遅延の範囲:
SDL_RenderPresentの復帰は「ドライバへのフリップ予約完了」を指し、実際のvsync待機(0〜1リフレッシュ)やHDMI走査、プロジェクター内部の処理遅延は含みません。
光直結での実測ベンチマーク(合成映像送信テスト)
Windows 11(ConnectX-4 Lx)からRocky Linux(ConnectX-4 Lx)へ10G光ケーブル経由で送信テスト(nagi-send-test / nagi-recv-test)を行った実測値です。
※本測定はすべて受信バッファ拡大前のOSデフォルト状態(getsockopt(SO_RCVBUF) 実効値 425,984 byte)の条件下で実施しています。また、ここでの遅延は描画処理を含まない確認応答(NGAK:最初のパケット送信開始〜受信側でフレーム完成・応答受信まで)の往復値であり、ペーシングによる送出分散時間(60fps/75%で約12.5ms、30fps/75%で約25.0ms)が支配的になっています。
| テスト条件(解像度・時間・ペーシング) | 受信バッファ実効値 | 完成フレーム | 欠落パケット数(FEC復元前) | UDPペイロード帯域 | 確認応答遅延(NGAK) |
|---|---|---|---|---|---|
| 1080p60 / 30秒 / ペーシング75% | 425,984 byte | 1800 / 1800 | 0 | 2266.9 Mbps | p50: 13.51ms / p95: 14.98ms |
| 1080p30 / 30秒 / ペーシング75% | 425,984 byte | 900 / 900 | 0 | 1133.4 Mbps | p50: 25.60ms / p95: 25.94ms |
| 1080p60 / 10秒 / ペーシング25% | 425,984 byte | 596 / 600 | 87 | — | p50: 11.87ms(バッファあふれ発生) |
ペーシング率を25%(送出時間約4.2ms)まで詰めると425KBのデフォルトバッファでは受信キューがあふれて87パケットの欠落が発生しましたが、ペーシングを75%に設定することで、デフォルトバッファのままでも2.27Gbps(1080p60)を30秒間・欠落0で伝送できることを確認しました。
5. まとめと今後
今回のライブでは、再起動から映像・照明の出力開始までを無人かつ安定して回せるインフラを構築できました。現在は実績のあるNDIをベースに安定稼働を実現しつつ、自作プロトコル「Nagi」についても、ソケット受信バッファ拡大環境での再計測やOBSプラグイン(nagi-obs)の実戦投入・NDIとの実遅延比較などを進め、これからのライブ現場でさらなる低遅延・高信頼な映像伝送の柱として活用していく予定です。