Help us understand the problem. What is going on with this article?

ラズパイカメラから NDI 送信してみた。

こんにちは。野良ハックチーム ざっきーと申します。

IoTLT ひとつめ! Advent Calendar 2018 の 4 日目を担当します。
IoTLT 放送部員としての歩みを書き残して年を越したいと思います。

IoTLT 放送部とは

IoTLT vol.42 @ ナビタイムで IoTLT 放送部の部長、IoT・設備制御系・YouTuber「なかちょん」こと、中畑隆拓さんが勝手にぶち上げた部活動です。

「なかちょん」のYouTubeチャネルはこちら。
https://www.youtube.com/nakachon

その時のLT資料はこちら。
https://www.slideshare.net/nakachong/iotlt-110645853

普段は Facebook グループで活動しています。
やってみたい方、興味がある方は誰でもウェルカムです!是非、お気軽に申請を!
https://www.facebook.com/groups/1357384727725773/

これまで IoTLT では参加者は Tweet をメインとして参加し、Togetter で情報をまとめたり、登壇者が LT 資料を connpass のページへアップするスタイルですが、

  • 行きたくても行けないときがある、、
  • 過去の発表を調べたい、、スライドはあるけど・・

というニーズに応えるべく、YouTube 配信&アーカイブを開始することになりました!

IoTLT の YouTube チャネル

実は以前から IoTLT の YouTube チャネルは存在していたのですが、
IoTLT vol.30 @ DMM の動画がアーカイブされているだけで有効活用されていない状態でした。
IoTLT の YouTube チャネルはこちら。
https://www.youtube.com/channel/UCE8qgjhgQVEdxmVa6hIAieA/
IoTLT YouTube チャネルの紹介動画はこちら。
https://www.youtube.com/watch?v=djKPVg1LMB4
IoTLT vol.41 @ 富士通クラウドテクノロジーズから活動を開始し、2018 年 11 月 29 日時点で 20 回の配信を行いました!

No. 日付 勉強会
1 2018/7/30 IoTLT vol.41
2 2018/8/27 SIerIoTLT vol.11
3 2018/9/11 Healthcare IoTLT vol.4
4 2018/9/26 Control IoTLT vol.1
5 2018/10/5 SIerIoTLT vol.12
6 2018/10/15 AIoTLT vol.2
7 2018/10/22 IoTLT vol.44
8 2018/10/30 AIoTLT ハンズオン
9 2018/11/6 エンタープライズ IoTLT vol.14
10 2018/11/12 VUILT vol.7
11 2018/11/16 Control IoTLT vol.2
12 2018/11/27 obniz x M5Stack x NefryBT 三つ巴 meetup!【ESP32開発ボードLT祭】
13 2018/11/29 IoTLT vol.45
No. 日付 勉強会
1 2018/8/10 RPALT vol.4 with Tech Night!
2 2018/9/27 enebular developer Meetup vol.3
3 2018/9/28 RPALT vol.5
4 2018/10/25 enebular developer Meetup vol.4
No. 日付 勉強会
1 2018/8/20 IoTLT vol.42
2 2018/11/22 enebular developer Meetup vol.5
3 2018/11/28 Node-RED UG勉強会 2018 年末LTパーティ

動画編集、字幕作成、翻訳、動画の案内もやりたいと考えていますが、まだできていません。。(´・ω・`)

配信機材と身についた (かもしれない?!) スキル

普段は PC(Mac または Windows) へ USB 接続したウェブカメラで撮影し、OBS Studio というソフトウェアから YouTube へ配信しています。
ズーム機能が付いて画質が良いビデオカメラを PC へ接続するために AverMedia の Live Gamer Portable 2 (AVT-C878) を使用しています。この製品は ゲームプレイをライブ配信するための HDMI ゲームキャプチャー ですが、遅延が少ないのと USB 2.0 にも対応しているので使用しています。PC を HDMI 入力へ接続すれば PC 画面も配信可能ですが、Mac と iPhone / iPad は HDCP というコピーガードが掛かっているため、ツール (Mac の場合は LGP2 Setup tool、Windows の場合は RECentral) を使用して HDCP 検出機能をオフにする必要があるので注意です。(Windows とラズパイの画面はそのままでも OK。)
また、OBS-NDI というプラグインを使用すれば、ネットワークを介して他の PC の映像を中継して配信することも可能です。

IoTLT放送部.png

  • RTMP : Real Time Messaging Protocol
    Adobe 社が開発している Adobe Flash プレーヤーとサーバーの間で、音声・動画・データをやり取りするストリーミングのプロトコル。

  • OBS Studio : Open Broadcaster Software
    OBS Project が開発保守しているレコーディングとライブストリーミングに特化したフリー・オープンソースソフトウェア。

  • HDCP : High-bandwidth Digital Content Protection
    映像再生機器からディスプレイなどの表示機器にデジタル信号を送受信する経路を暗号化し、コンテンツが不正にコピーされるのを防止する著作権保護技術 (コピーガード) のひとつ。

  • NDI: Network Device Interface
    NewTek 社によって開発された複数の映像システムを IP ネットワークを介して双方向にやり取りすることができ、リアルタイムに大量の高品質、低遅延かつ高フレーム精度でエンコードし、ビデオ制作ワークフロー支援プロトコル。SDK が無償で配布されています。

ラズパイカメラから YouTube 配信

ラズパイのカメラは USB 接続のウェブカメラを使用することができるが、CSI-2 (Camera Serial Interface) コネクタに接続するカメラモジュールを使用した。

  • 機器

    • Raspberry Pi 3
    • Raspberry Pi 3 Model B+
  • OS

    • Raspbian stretch with Desktop (Release 9.6)
  • カメラモジュール

    • Raspberry Pi Camera v1.3

カメラモジュールを使用するためには raspi-config コマンドで有効化する必要がある。

$ sudo raspi-config

スクリーンショット 2018-11-26 15.20.59.png

スクリーンショット 2018-11-26 15.21.14.png

YouTube 配信には raspivid コマンド と ffmpeg コマンドを使用する。最後の [ストリームキー] は YouTube ライブストリーミング管理画面から情報を取得する。

$ raspivid -o - -t 0 -vf -hf -fps 25 -b 500000 | ffmpeg -re -ar 44100 -ac 2 -acodec pcm_s16le -f s16le -ac 2 -i /dev/zero -f h264 -i - -vcodec copy -acodec aac -ab 128k -g 50 -s 640x320 -strict experimental -f flv rtmp://a.rtmp.youtube.com/live2/[ストリームキー]

Screenshot_2018-11-26 ライブ ダッシュボード - YouTube.png

※ 使用した OS には ffmpeg が既にインストールされていたため、インストール等の作業は行なっていないが、もし ffmpeg コマンドが見つからないエラーが出る場合は以下のコマンドでインストールする。

$ sudo apt update
$ sudo apt install ffmpeg

※ USB 接続のウェブカメラを使用する場合は ffmpeg コマンドのみでライブ配信可能。使用するウェブカメラにマイクが付いている場合は音声含めて配信されるが、モノラルマイクとステレオマイクで ffmpeg コマンドの引数が異なるので注意。
(Logicool C270 などのモノラルマイクの場合は -ac 1、BUFFALO BSW20KM11 などのステレオマイクの場合は -ac 2。)

$ ffmpeg -f v4l2 -f alsa -ac 2 -thread_queue_size 4096 -i hw:1 -i /dev/video0 -s 640x360 -r 20 -vcodec h264 -acodec aac -g 50 -strict experimental -f flv rtmp://a.rtmp.youtube.com/live2/[ストリームキー]

ラズパイカメラから NDI 送信

やっと本題です。FFmpeg 3.4 で NDI をサポートしたというニュースを見つけて試してみることにしました。
ニュース記事はこちら。
https://www.newtek.com/blog/ffmpeg-3-4-adds-ndi-io/
ただ、使用した OS にインストールされている ffmpeg のバージョンは 3.2.10-1 で 残念ながら NDI を使用することができません。

$ ffmpeg -version
ffmpeg version 3.2.10-1~deb9u1+rpt2 Copyright (c) 2000-2018 the FFmpeg developers
built with gcc 6.3.0 (Raspbian 6.3.0-18+rpi1+deb9u1) 20170516
configuration: --prefix=/usr --extra-version='1~deb9u1+rpt2' --toolchain=hardened --libdir=/usr/lib/arm-linux-gnueabihf --incdir=/usr/include/arm-linux-gnueabihf --enable-gpl --disable-stripping --enable-avresample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libebur128 --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libmp3lame --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-omx-rpi --enable-mmal --enable-openal --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libiec61883 --arch=armhf --enable-chromaprint --enable-frei0r --enable-libopencv --enable-libx264 --enable-shared
libavutil      55. 34.101 / 55. 34.101
libavcodec     57. 64.101 / 57. 64.101
libavformat    57. 56.101 / 57. 56.101
libavdevice    57.  1.100 / 57.  1.100
libavfilter     6. 65.100 /  6. 65.100
libavresample   3.  1.  0 /  3.  1.  0
libswscale      4.  2.100 /  4.  2.100
libswresample   2.  3.100 /  2.  3.100
libpostproc    54.  1.100 / 54.  1.100

そこで、以下の記事を参考にして NDI に対応した ffmpeg をビルドすることにしました。

まず、ffmpeg をビルドするのに必要な依存ライブラリやツール類をインストールするため、ソースパッケージを有効化する。

/etc/apt/sources.list
deb http://raspbian.raspberrypi.org/raspbian/ stretch main contrib non-free rpi
# Uncomment line below then 'apt-get update' to enable 'apt-get source'
#deb-src http://raspbian.raspberrypi.org/raspbian/ stretch main contrib non-free rpi

↓ (最後の行をコメントインする。)

/etc/apt/sources.list
deb http://raspbian.raspberrypi.org/raspbian/ stretch main contrib non-free rpi
# Uncomment line below then 'apt-get update' to enable 'apt-get source'
deb-src http://raspbian.raspberrypi.org/raspbian/ stretch main contrib non-free rpi

apt コマンドを実行して依存ライブラリやツール類をインストールする。

$ sudo apt update
$ sudo apt build-dep ffmpeg

次に NDI SDK をダウンロードしてライブラリを配置する。使用する機器によって配置するライブラリが異なるので注意。
(NewTek 社のホームページから NDI SDK をダウンロードには登録が必要だが、登録後に送られてくるメールに記載されているダウンロード用の URL を記載する。)

$ mkdir NDI
$ cd NDI
$ wget http://new.tk/NDISDKLINUX
$ mv NDISDKLINUX InstallNDISDK_v3_Linux.sh
$ sh InstallNDISDK_v3_Linux.sh
$ sudo mkdir /usr/include/ndi
$ sudo cp NDI\ SDK\ for\ Linux/include/* /usr/include/ndi/
$ sudo cp -r NDI\ SDK\ for\ Linux/lib/armv8-rpi3-linux-gnueabihf/* /usr/lib/

次に ffmpeg のソースコードを取得します。

$ git clone https://git.ffmpeg.org/ffmpeg.git

最後にビルドします。ビルドは時間が掛かる (Raspberry Pi 3 Model B+ の場合で 30 分くらい) ので気長に待ちます。(・ω・)

$ cd ffmpeg
$ ./configure --enable-nonfree --enable-libndi_newtek --extra-cflags="-I/usr/include/ndi/" --extra-ldflags="-L/usr/include/ndi/" --enable-libx264 --enable-gpl
$ make

無事にビルドが完了したら raspivid コマンドと ffmpeg コマンドを実行して NDI 送信を試してみます。

$ raspivid -o - -t 0 -vf -hf -fps 25 -b 500000 | ./ffmpeg -re -f h264 -i - -vcodec wrapped_avframe -g 50 -strict experimental -f libndi_newtek -pix_fmt uyvy422 -s 640x360 RPiCamera

※ USB 接続のウェブカメラを使用する場合は ffmpeg コマンドのみで NDI 送信可能。

$ ./ffmpeg -f alsa -ac 2 -thread_queue_size 4096 -i hw:1 -i /dev/video0 -s 640x360 -vcodec wrapped_avframe -g 50 -strict experimental -f libndi_newtek -pix_fmt uyvy422 RPiCamera

NDI 受信は OBS Studio を使用して確認します。
NDI™️ Source の設定で Source name のプルダウンメニューに 「RASPBERRYPI (RPiCamera)」と表示されれば成功です。
スクリーンショット 2018-11-26 21.49.22.png

まとめ

iOS アプリ や Android アプリで NewTek NDI Camera application がリリースされている (有償) ので、どこまでニーズがあるかどうか分かりませんが、ラズパイを使用するだけで少しだけ「IoT 感」が出ていれば幸いです!

46728651_1940906525978304_8542868648153317376_o.jpg

※ 追伸 ( 2018 年 12 月 18 日時点 )
NDI® Version 3.8 SDK がリリースされたが、状況は変わらず・・。

※ 追伸 ( 2018 年 11 月 26 日時点 )
Raspberry Pi Zero W でも試していますが、armv6 用のライブラリだと ffmpeg のビルドは問題無く完了しますが、ffmpeg コマンドを実行した際にライブラリの読み込みでエラーが出て失敗します。ビルドは非常に時間が掛かる (6 時間くらい) ので、あまり試行錯誤できていません。(´・ω・`)

(ライブラリのコピー)
$ sudo cp -r NDI\ SDK\ for\ Linux/lib/armv6-rpi-linux-gnueabi/* /usr/lib/

$ ./ffmpeg -version
./ffmpeg: error while loading shared libraries: libndi.so.3: cannot open shared object file: No such file or directory
$ ldd ./ffmpeg | grep libndi
    libndi.so.3 => not found
$  file /usr/lib/libndi.so.3.7.1
/usr/lib/libndi.so.3.7.1: ELF 32-bit LSB shared object, ARM, EABI5 version 1 (GNU/Linux), dynamically linked, BuildID[sha1]=ac90b861b0daa9449e3e31662d34fc107f92bf7c, stripped
Why do not you register as a user and use Qiita more conveniently?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away