openFrameworksでのJPEGエンコード

openFrameworksでの動画再生が重い問題の解決として、外部アプリに動画再生を任せて通信にしてみようと思い立ち、とりあえず以下の手順で実装してみました。

• WPFで動画再生してJPEG圧縮
• UDPで通信
• openFrameworksでofImageへ変換して描画

最後のoFでのJPEGエンコードで苦労したのでメモ。
コードはこちら：
(oF) : https://github.com/ma-ring/oF/tree/jpgEncoder/JpgEncoder
(WPF): https://github.com/ma-ring/oF/tree/jpgEncoder/VideoController

WPFで動画再生してJPEG圧縮

動画の再生はMediaPlayerで行います。
MediaPlayerをDrawingVisualに描いてbitmapを取得。
JpegBitmapEncoderという便利なクラスがあるのでこれでJPEG圧縮までOK。

MainWindow.xaml.cs

private MediaPlayer mPlayer;
       
public MainWindow()
        {
            SetupClient();

            InitializeComponent();

            mPlayer = new MediaPlayer();
            mPlayer.ScrubbingEnabled = true;
            mPlayer.Open(new Uri(path, UriKind.Relative));
            MediaVideo.Source = new Uri(path, UriKind.Relative);

            play();

        }
        
void sendFrame()
        {

            int width = (int)(MediaVideo.Width);
            int height = (int)(MediaVideo.Height);

            // 描画用の Visual を用意
            var visual = new DrawingVisual();

            using (var context = visual.RenderOpen())
            {
                context.DrawVideo(mPlayer, new System.Windows.Rect(0, 0, width, height));
            }

            var bitmap = new RenderTargetBitmap(width, height, 96, 96, PixelFormats.Pbgra32);
            bitmap.Render(visual);
            //image.Source = bitmap;
            var encoder = new JpegBitmapEncoder();
            //encoder.QualityLevel = 30;
            encoder.Frames.Add(BitmapFrame.Create(bitmap));
            

            using (MemoryStream ms = new MemoryStream())
            {
                encoder.Save(ms);
                byte[] data = ms.ToArray();
                Debug.Print(data.ToString());
                mSendClient.Send(data, data.Length, mRemoteIP, mRemotePort);
            }
        }

UDPで通信

こちらもそのまま。

MainWindow.xaml.cs

private string mRemoteIP = "127.0.0.1";
private int mRemotePort = 5000;
private UdpClient mSendClient;
private void SetupClient()
        {
            System.Net.IPAddress ip = System.Net.IPAddress.Parse(mRemoteIP);
            mSendClient = new UdpClient();

            StartSending();
        }

ofApp.h

#include "FreeImage.h"

class ofApp : public ofBaseApp{
  //---略
  ofxUDPManager mReceiver;
  ofImage mFrameImage;
  //--略
}

ofApp.cpp

#define IP "127.0.0.1"
#define PORT 5000
#define VIDEO_FILE_PATH  "video.mp4"
#define MSG_BUFF_SIZE 100000

void ofApp::setup(){
	mReceiver.Create();
	mReceiver.Bind(PORT);
	mReceiver.SetNonBlocking(true);
}

openFrameworksでofImageへ変換して描画

これが本題。
jpgEncoder関数としてまとめました。
結論としては、oFだとFreeImage (https://freeimage.sourceforge.io/) というライブラリが使えるので、こちらを利用しました。

ofApp.cpp

void ofApp::update(){
	
	//recieve
	char recvMsg[MSG_BUFF_SIZE];
	int recvSize = mReceiver.PeekReceive();
	if (recvSize > 0) {
		mReceiver.Receive(recvMsg, MSG_BUFF_SIZE);
		jpgEncoder(&recvMsg[0], recvSize, mFrameImage);
		
	}

}
void ofApp::jpgEncoder(char* src, int size, ofImage& dst) {
	vector<unsigned char> data(src, src + size);
	//mFrame = imdecode(data, 1);

	FIMEMORY *hmem;
	FREE_IMAGE_FORMAT fif;
	FIBITMAP *bmp;

	hmem = FreeImage_OpenMemory(&data[0], size);
	fif = FreeImage_GetFileTypeFromMemory(hmem, 0);
	bmp = FreeImage_LoadFromMemory(fif, hmem, 0);
	dst.setFromPixels(FreeImage_GetBits(bmp), 1920 /4, 1080/4 , ofImageType::OF_IMAGE_COLOR, true);
	dst.mirror(true, false);
	dst.getPixelsRef().swapRgb();
	dst.update();
}

ただそのままだとRGBの並びがおかしかったり反転してたりします。
pixelの並びが問題なんだろうなとは思いつつ、今回はお試しなのでmirrorとswapRgbで調整してます。
これはshaderにしてもいいかもしれない。

まとめ

たぶん本当に使うならSyphonとかSpoutを使うべきなんだろうなとは思います。
あとoF側でJPEG圧縮する方法を模索中です、だれか知見があれば教えてください。