1. 概要
Raspberry Pi 4Bに接続したUVCカメラのMJPEG画像をAmazon Kinesis Video Streams(AWS KVS)にアップロードすることを試みた。
結論
この記事の時点で、MJPEG画像をAWS KVSにアップロードできていない。
背景
知人からRaspberry Pi 3BでUVCカメラのMJPEG画像をAWS KVSにアプロードする方法について尋ねられた時、自分がやったことある手順やそのとき困ったこと情報を提供した。その後、知人はRaspberry Pi 4Bで試したところ、うまくいかないと連絡してきた。尚、UVCカメラはちょっと変わってる製品であるとのこと。
そこで、4Bが原因なのか、UVCカメラのせいなのか、連絡した手順が悪いのか確認することにした。
2. 準備
Raspberry Pi 4Bの準備
- ラズベリーパイ財団のWebサイトのRaspberry Pi Imagerとか使う
- Raspberry Pi OS(32bit)
Amazon Kinesis Video Stream の WebRTC のサンプルをビルドする
sudo apt-get install libcap2 libcap-dev
sudo apt-get install cmake pkg-config libssl-dev
sudo apt-get install gstreamer1.0-tools libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev gstreamer1.0-omx gstreamer1.0-plugins-good gstreamer1.0-plugins-ugly
作業ディレクトリを作成し、移動
mkdir videocam
cd videocam
SDKのダウンロード
git clone --recursive https://github.com/awslabs/amazon-kinesis-video-streams-webrtc-sdk-c.git
ビルド用ディレクトリを作成してビルド
mkdir -p amazon-kinesis-video-streams-webrtc-sdk-c/build
cd amazon-kinesis-video-streams-webrtc-sdk-c/build
cmake ..
そこそこ時間かかる
make
UVCカメラの性能確認
video0 の部分は接続されている機器や数によって違うことがある。
Motion JPEGに対応していることがわかる。
pi@raspberrypi:build $ v4l2-ctl -d /dev/video0 --list-formats
ioctl: VIDIOC_ENUM_FMT
Type: Video Capture
[0]: 'MJPG' (Motion-JPEG, compressed)
[1]: 'YUYV' (YUYV 4:2:2)
解像度やフレームレートの確認
pi@raspberrypi:build $ v4l2-ctl -d /dev/video0 --list-formats-ext
ioctl: VIDIOC_ENUM_FMT
Type: Video Capture
[0]: 'MJPG' (Motion-JPEG, compressed)
Size: Discrete 1920x1080
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 1280x800
Interval: Discrete 0.033s (30.000 fps)
Size: Discrete 1280x720
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.040s (25.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 800x600
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 640x480
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 640x360
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 320x240
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 1920x1080
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.200s (5.000 fps)
[1]: 'YUYV' (YUYV 4:2:2)
Size: Discrete 1920x1080
Interval: Discrete 0.200s (5.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 1280x800
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 1280x720
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 800x600
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 640x480
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.040s (25.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 640x360
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 320x240
Interval: Discrete 0.033s (30.000 fps)
Interval: Discrete 0.040s (25.000 fps)
Interval: Discrete 0.050s (20.000 fps)
Interval: Discrete 0.067s (15.000 fps)
Interval: Discrete 0.100s (10.000 fps)
Interval: Discrete 0.200s (5.000 fps)
Size: Discrete 1920x1080
Interval: Discrete 0.200s (5.000 fps)
Interval: Discrete 0.200s (5.000 fps)
カメラの映像をモニターに映してみる。
gst-launch-1.0 v4l2src ! videoconvert ! ximagesink
出力されたので、カメラは動いており、Gstreamerも動作することが分かった。
3. Amazon Kinesis Video Streams(AWS KVS)に映像を送る
AWS用の環境変数
AWSにアカウントを作成したときのキーを設定する。
export AWS_ACCESS_KEY_ID=「アクセスキーID」
export AWS_SECRET_ACCESS_KEY=「シークレットアクセスキー」
export AWS_DEFAULT_REGION=「AWSリージョン」
とりあえずサンプルコードをそのまま動かしてみる。
現在の作業パスはビルドしたところから移動していない前提。
cd samples
./kvsWebrtcClientMasterGstSample test-ch
AWSへアクセスし、Kinesis Video Streams >シグナリングチャネルを開く。
メディア再生ビューワーで再生テストを行う。うまくいっていれば、UVCカメラの映像が見れる。
だが、みれない。これは前もそうだった気がする。サンプルコードそのままだとなぜかうまくいかない。
サンプルコードを変更して試す
amazon-kinesis-video-streams-webrtc-sdk-c/samples/kvsWebRTCClientMasterGstreamerSample.c
の 155行目付近を変更する。
エンコードやらフレームレートやらを変更してみる。変更箇所は以下。
if (pSampleConfiguration->useTestSrc) {
} else {
ここのコード
}
ソフトウェアH.264エンコード, UVC Cam(YUV) -> H.264
上記に書いた箇所（elseの中）を以下に入れ替える。
pipeline = gst_parse_launch(
"v4l2src do-timestamp=TRUE device=/dev/video0 is-live=TRUE ! queue ! videoconvert ! video/x-raw,width=1280,height=720,framerate=10/1 ! "
"x264enc bframes=0 speed-preset=veryfast bitrate=512 byte-stream=TRUE tune=zerolatency ! "
"h264parse config-interval=-1 ! video/x-h264,stream-format=byte-stream,alignment=au,profile=baseline ! appsink sync=TRUE emit-signals=TRUE name=appsink-video",
&error);
上の階層samplesに移動してもう一度ビルドし、サンプルアプリを実行する。
再びシグナリングチャネルをみると映像が再生された。カメラやGstreamer、AWS関係に問題はないようだ。
cd ..
cmake ..
make
cd samples
./kvsWebrtcClientMasterGstSample test-ch
ハードウェアH.264エンコード, UVC Cam(YUV) -> H.264
同様にハードウェアH.264エンコードを試す。
pipeline = gst_parse_launch(
"v4l2src device=/dev/video0 ! queue ! videoconvert ! video/x-raw,width=1280,height=720,framerate=10/1 ! "
"omxh264enc control-rate=1 target-bitrate=5120000 periodicty-idr=10 inline-header=FALSE ! "
"h264parse config-interval=-1 ! video/x-h264,stream-format=byte-stream,alignment=au,profile=baseline ! appsink sync=TRUE emit-signals=TRUE name=appsink-video",
&error);
ハードウェアH.264エンコード, UVC Cam(MJPEG) -> H.264
で、肝心のMJPEGをためす。
pipeline = gst_parse_launch(
"v4l2src device=/dev/video0 ! image/jpeg,width=1280,height=720,framerate=10/1 ! omxmjpegdec ! "
"omxh264enc control-rate=1 target-bitrate=5120000 periodicty-idr=10 inline-header=FALSE ! "
"h264parse config-interval=-1 ! video/x-h264,stream-format=byte-stream,alignment=au,profile=baseline ! appsink sync=TRUE emit-signals=TRUE name=appsink-video",
&error);
結果は・・・ダメだった。以前、Raspberry Pi 3Bを使ったときはうまく言った記憶があるのだが・・・
4.原因を調べてみる
OMXは？
omxか？と思ったが、以下のコマンドによる確認で、omxmjpegdecとomxh264enc機能があることはわかった。
pi@raspberrypi:~ $ gst-inspect-1.0 | grep omx
omx: omxmpeg2videodec: OpenMAX MPEG2 Video Decoder
omx: omxmpeg4videodec: OpenMAX MPEG4 Video Decoder
omx: omxh263dec: OpenMAX H.263 Video Decoder
omx: omxh264dec: OpenMAX H.264 Video Decoder
omx: omxtheoradec: OpenMAX Theora Video Decoder
omx: omxvp8dec: OpenMAX VP8 Video Decoder
omx: omxmjpegdec: OpenMAX MJPEG Video Decoder
omx: omxvc1dec: OpenMAX WMV Video Decoder
omx: omxh264enc: OpenMAX H.264 Video Encoder
omx: omxanalogaudiosink: OpenMAX Analog Audio Sink
omx: omxhdmiaudiosink: OpenMAX HDMI Audio Sink
libav: avenc_h264_omx: libav OpenMAX IL H.264 video encoder encoder
3Bと4Bで何が違うの？
この違いはいったい・・・？
3Bではエラーが出ていない。だから3Bではうまくいき、4Bでは失敗しているということか？
Raspberry Pi 4B
pi@raspberrypi:~ $ gst-launch-1.0 v4l2src device=/dev/video0 ! image/jpeg,width=1280,height=720,framerate=10/1 ! omxmjpegdec! fakesink
パイプラインを一時停止 (PAUSED) にしています...
ERROR: Pipeline doesn't want to pause.
ERROR: from element /GstPipeline:pipeline0/GstOMXMJPEGDec-omxmjpegdec:omxmjpegdec-omxmjpegdec0: サポートライブラリを初期化できません
追加のデバッグ情報:
gstvideodecoder.c(2535): gst_video_decoder_change_state (): /GstPipeline:pipeline0/GstOMXMJPEGDec-omxmjpegdec:omxmjpegdec-omxmjpegdec0:
Failed to open decoder
Setting pipeline to NULL ...
Freeing pipeline ...
Raspberry Pi 3B
pi@raspberrypi:~ $ gst-launch-1.0 v4l2src device=/dev/video0 ! image/jpeg,width=1280,height=720,framerate=10/1 ! omxmjpegdec! fakesink
パイプラインを一時停止 (PAUSED) にしています...
Pipeline is live and does not need PREROLL ...
パイプラインを再生中 (PLAYING) にしています...
New clock: GstSystemClock
Gstreamerのエラーは何か？
GST_DEBUGを付けてログだししてみた
GST_DEBUG=FIXME gst-launch-1.0 v4l2src device=/dev/video0 ! image/jpeg,width=1280,height=720,framerate=10/1 ! omxmjpegdec! fakesink
エラーログによると、gstomx.cでハンドル取得エラーらしい。これは自分や知人だけのエラーか、公式とかでも起こるのか、それが分からないが、多分みんな起きるのでは。
誰も使ってないのかMJPEGの機能・・・
0:00:00.219924812 20692 0x27cf80 ERROR omx gstomx.c:799:gst_omx_component_new:<omxmjpegdec-omxmjpegdec0> Failed to get component handle 'OMX.broadcom.egl_render' from core '/opt/vc/lib/libopenmaxil.so': 0x80001000
0:00:00.219983719 20692 0x27cf80 WARN videodecoder gstvideodecoder.c:2535:gst_video_decoder_change_state:<omxmjpegdec-omxmjpegdec0> error: Failed to open decoder
ERROR: Pipeline doesn't want to pause.
ERROR: from element /GstPipeline:pipeline0/GstOMXMJPEGDec-omxmjpegdec:omxmjpegdec-omxmjpegdec0: サポートライブラリを初期化できません
追加のデバッグ情報:
gstvideodecoder.c(2535): gst_video_decoder_change_state (): /GstPipeline:pipeline0/GstOMXMJPEGDec-omxmjpegdec:omxmjpegdec-omxmjpegdec0:
5. Pi4のOS再インストール
Gstreamerを更新しようとあれこれやっているうちにインストール済みパッケージの状態がおかしくなってきた。
そこで、OSの再インストールをした。深く考えずに使用中のSDカードにRaspberry Pi ImagerでRaspberry Pi OS 32bitを上書き。そして起動した。
5.1 違い
とりあえず本件関係の定番インストール。
sudo apt install autoconf automake libtool
sudo apt install gstreamer1.0-tools gstreamer1.0-plugins-good gstreamer1.0-plugins-ugly libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev gstreamer1.0-plugins-bad
そして、確認。
GStreamerが1.14から1.18へ更新されてる！知らぬ間に公式で更新されていた？これで全て解決？
pi@raspberrypi:~ $ gst-launch-1.0 --version
gst-launch-1.0 version 1.18.4
GStreamer 1.18.4
と思ったら、omxmjpegdecがいない。あんなにたくさんいたomxがいない。
pi@raspberrypi:~ $ gst-inspect-1.0 | grep omx
libav: avenc_h264_omx: libav OpenMAX IL H.264 video encoder encoder
libav: avenc_mpeg4_omx: libav OpenMAX IL MPEG-4 video encoder encoder
今後
最新ソースもってきて自分でビルドか、自分でソース修正してみたいところ。
2022/03/27 : ソースのビルドの作業過程でOS再インストールしたら余計にハマった。