やったこと

SWITCH SCIENCE が安売りしているOV2640搭載 Unit Cam Wi-Fi Cameraを購入した。
モジュールの発売日は 2021-06-24 で少し古い。
この Unit Cam をラズパイ4 のシリアル接続のカメラにできたのでメモする。

まず、最初に入っているファームウェアの動作を確認するため先人の知恵を調べた。

Lang-shipさんのM5Stack Unit CAM(U109) に怖いことが書かれている。(私もファームウェアを見つけられなかった。)

最初に入っているファームウエアは垂れ流し系みたいですね。
さて、書き換える前にどんなファームウエアかなと思ったら、、、ファームウエア未公開です。
バイナリでも公開していないので、書き換えるともとの状態に戻せません！！！

Qiitaの@taiyyytaiさんのM5stackCore2+Unit Camで画像を取得するを読むと M5Stack Core2 で表示可能らしい。

私は M5Stack Core* を持たないので python で Linux(ラズパイ4) と Unit Cam をシリアル接続した。
その結果、最初に入っているファームウェアで640x480の動画が乱れることなく撮影できた。

使ったもの

Unit Cam
Raspberry Pi 4 4GB
GROVEケーブル
M5Stack ダウンローダー

Unit Cam とラズパイ4の接続

ラズパイ4のUSBケーブルを M5Stack ダウンローダに接続、さらに GROVEケーブルで Unit Cam に接続した。
M5Stack ダウンローダーと GROVE ケーブルの接続は下記である。

ダウンローダー	ケーブル色
GND	黒
G0	--
EN	--
TX0	白
RX0	黄
3.3V	赤

Raspberry Pi 4 の設定

Raspberry Pi 4 は Raspberry Pi OS 64 である。
OpenCV を使うので X Window を起動する。
pip で opencv-python と opencv-contrib-python をインストールする。

スクリプト Cam2RPi.py の作成

SWITCH SCIENCE の販売ページの Arduinoサンプルコードを python スクリプトに変換した。
変更点は２点

JPEGフレームの処理を加え
割り込みでなくループ内で表示した

import serial
import threading
import queue
from PIL import Image
import io
import cv2　# OpenCV
import numpy as np
import time

# UART の設定（適切なポートに変更してください）
ser = serial.Serial('/dev/ttyACM0', baudrate=1500000, timeout=1)

# フレーム用のキュー（最大 2 フレーム）
frame_queue = queue.Queue(maxsize=2)

def uart_read_thread():
    """
    シリアルからデータを読み込み、JPEGフレームの開始・終了を検出してキューに格納するスレッド関数
    JPEGは 0xFFD8 で開始し、0xFFD9 で終了することを利用する。
    """
    buffer = bytearray()
    while True:
        data = ser.read(1024)
        if data:
            buffer.extend(data)
            while True:
                # JPEGの開始マーカー(0xFFD8)を検出
                start_index = buffer.find(b'\xff\xd8')
                if start_index == -1:
                    # 開始マーカーがない場合は、後続データのためにバッファを保持
                    break
                # JPEGの終了マーカー(0xFFD9)を開始マーカー以降から検出
                end_index = buffer.find(b'\xff\xd9', start_index + 2)
                if end_index == -1:
                    # 終了マーカーがまだ見つからない場合、フレームは未完成
                    break
                # 終了マーカーを含めるためにインデックスを調整
                end_index += 2
                # 完全なJPEGフレームを切り出し
                frame_data = buffer[start_index:end_index]
                # バッファから処理済み部分を削除
                buffer = buffer[end_index:]
                # キューにフレームを送信（キューが満杯なら破棄）
                try:
                    frame_queue.put(frame_data, block=False)
                except queue.Full:
                    pass

def display_frame_thread():
    """
    キューからJPEGフレームを取得し、デコードして表示するスレッド関数
    """
    while True:
        frame_data = frame_queue.get()  # ブロッキングで取得
        try:
            # JPEGデータをPillowで読み込み
            image = Image.open(io.BytesIO(frame_data))
            image.load()  # 画像の完全な読み込みを強制
        except Exception as e:
            print("画像デコードエラー:", e)
            continue

        # Pillow画像をOpenCV形式（BGR）に変換して表示
        image_cv = cv2.cvtColor(np.array(image), cv2.COLOR_RGB2BGR)
        cv2.imshow("UART JPEG Frame", image_cv)
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

# スレッドの開始
uart_thread = threading.Thread(target=uart_read_thread, daemon=True)
# display_thread = threading.Thread(target=display_frame_thread, daemon=True)
uart_thread.start()
# display_thread.start()

# メインループを維持
try:
    while True:
        display_frame_thread()
        time.sleep(0.03)
        pass
except KeyboardInterrupt:
    print("終了します")
    cv2.destroyAllWindows()

実行

ラズパイ4の X Window のターミナルで python Cam2RPi.pyを実行する。
640x480の動画が乱れることなく撮影できた。

最後に

今回はじめてシリアルを python で受信、OpenCV で jpeg を表示した。
Lang-shipさんと Qiitaの@taiyyytaiさんのように誰かのヒントになれば幸いです。