OMRON SENTECカメラ Python Buildup (4) grab_opencv.py #OpenCV

こちらの資料を読んでください。

コード全体の説明

このコードは、カメラから取得した画像データをOpenCVを使って処理し、表示するサンプルです。具体的には、以下の手順を実行します：

StApiの初期化
カメラへの接続
画像データの取得
画像データをOpenCV形式に変換
Bayer画像形式をRGBに変換
OpenCVで画像をプレビュー

コードの詳細分析

インポートと設定

import cv2
import numpy as np
import stapipy as st

# Number of images to grab
number_of_images_to_grab = 100

# Image scale when displaying using OpenCV.
DISPLAY_RESIZE_FACTOR = 0.3

cv2: OpenCVライブラリをインポートします。
numpy: 画像データの処理に使用するため、NumPyライブラリをインポートします。
stapipy: StApiライブラリをインポートします。

メイン部分

try:
    st.initialize()
    st_system = st.create_system()
    st_device = st_system.create_first_device()
    print('Device=', st_device.info.display_name)
    st_datastream = st_device.create_datastream()

    st_datastream.start_acquisition(number_of_images_to_grab)
    st_device.acquisition_start()

    while st_datastream.is_grabbing:
        with st_datastream.retrieve_buffer() as st_buffer:
            if st_buffer.info.is_image_present:
                st_image = st_buffer.get_image()
                print("BlockID={0} Size={1} x {2} First Byte={3}".format(
                      st_buffer.info.frame_id,
                      st_image.width, st_image.height,
                      st_image.get_image_data()[0]))

                pixel_format = st_image.pixel_format
                pixel_format_info = st.get_pixel_format_info(pixel_format)

                if not(pixel_format_info.is_mono or pixel_format_info.is_bayer):
                    continue

                data = st_image.get_image_data()

                if pixel_format_info.each_component_total_bit_count > 8:
                    nparr = np.frombuffer(data, np.uint16)
                    division = pow(2, pixel_format_info.each_component_valid_bit_count - 8)
                    nparr = (nparr / division).astype('uint8')
                else:
                    nparr = np.frombuffer(data, np.uint8)

                nparr = nparr.reshape(st_image.height, st_image.width, 1)

                if pixel_format_info.is_bayer:
                    bayer_type = pixel_format_info.get_pixel_color_filter()
                    if bayer_type == st.EStPixelColorFilter.BayerRG:
                        nparr = cv2.cvtColor(nparr, cv2.COLOR_BAYER_RG2RGB)
                    elif bayer_type == st.EStPixelColorFilter.BayerGR:
                        nparr = cv2.cvtColor(nparr, cv2.COLOR_BAYER_GR2RGB)
                    elif bayer_type == st.EStPixelColorFilter.BayerGB:
                        nparr = cv2.cvtColor(nparr, cv2.COLOR_BAYER_GB2RGB)
                    elif bayer_type == st.EStPixelColorFilter.BayerBG:
                        nparr = cv2.cvtColor(nparr, cv2.COLOR_BAYER_BG2RGB)

                nparr = cv2.resize(nparr, None, fx=DISPLAY_RESIZE_FACTOR, fy=DISPLAY_RESIZE_FACTOR)
                cv2.imshow('image', nparr)
                cv2.waitKey(1)
            else:
                print("Image data does not exist.")

    st_device.acquisition_stop()
    st_datastream.stop_acquisition()

except Exception as exception:
    print(exception)

初期化と接続:
- st.initialize()でStApiを初期化し、st.create_system()でシステムオブジェクトを作成、st_system.create_first_device()で最初に検出されたデバイスに接続します。
データストリームの作成と画像取得の開始:
- st_device.create_datastream()でデータストリームオブジェクトを作成し、st_datastream.start_acquisition(number_of_images_to_grab)で画像取得を開始します。
画像データの取得と処理:
- st_datastream.retrieve_buffer()でバッファを取得し、st_buffer.get_image()で画像データを取得します。
- pixel_format_infoを使用してピクセルフォーマット情報を確認し、Bayer画像の場合はcv2.cvtColor()を使用してRGB形式に変換します。
画像の表示:
- cv2.resize()で画像をリサイズし、cv2.imshow()で画像を表示します。
画像取得の停止:
- st_device.acquisition_stop()とst_datastream.stop_acquisition()で画像取得を停止します。

OpenCVを利用した理由とメリット

理由

画像処理の強力なツール:
- OpenCVは、画像処理のための豊富な関数を提供しており、Bayer画像のRGB変換やフィルタリング、エッジ検出など多岐にわたる処理を簡単に実行できます。
リアルタイム処理:
- 高速な画像処理が可能であり、リアルタイムでの画像表示や処理に適しています。
広範なサポート:
- OpenCVは多くのプログラミング言語やプラットフォームでサポートされており、他のシステムやライブラリと容易に統合できます。

メリット

簡単な実装:
- OpenCVの関数を使用することで、複雑な画像処理アルゴリズムを簡単に実装できます。
効率的な処理:
- OpenCVは内部で最適化されており、効率的に画像処理を行うことができます。
豊富な機能:
- OpenCVには、画像の読み込み、書き込み、表示、変換、フィルタリングなどの豊富な機能が揃っており、開発者はこれらを利用して迅速にアプリケーションを開発できます。

このコードでは、OpenCVを活用することで、カメラから取得した画像データを効率的に処理し、リアルタイムで表示することができます。

カメラが白黒で、mono 8bitの場合のシンプルコード

以下は、白黒カメラ用にシンプル化したコードです。画像データが8ビットのモノクロであることを前提としています。

import cv2
import numpy as np
import stapipy as st

# 取得する画像の枚数
number_of_images_to_grab = 100

# OpenCVを使用して表示する際の画像スケール
DISPLAY_RESIZE_FACTOR = 0.3

try:
    # StApiを初期化
    st.initialize()

    # デバイスのスキャンと接続のためのシステムオブジェクトを作成
    st_system = st.create_system()

    # 最初に検出されたデバイスに接続
    st_device = st_system.create_first_device()

    # デバイスの名前を表示
    print('Device=', st_device.info.display_name)

    # 画像ストリームデータを扱うためのデータストリームオブジェクトを作成
    st_datastream = st_device.create_datastream()

    # ホスト側の画像取得を開始
    st_datastream.start_acquisition(number_of_images_to_grab)

    # カメラ側の画像取得を開始
    st_device.acquisition_start()

    # データ取得とステータス確認のためのループ
    while st_datastream.is_grabbing:
        # 'with'を使用してローカル変数st_bufferを作成
        with st_datastream.retrieve_buffer() as st_buffer:
            # 取得したデータに画像データが含まれているか確認
            if st_buffer.info.is_image_present:
                # 画像オブジェクトを作成
                st_image = st_buffer.get_image()

                # 取得した画像データの情報を表示
                print("BlockID={0} Size={1} x {2} First Byte={3}".format(
                      st_buffer.info.frame_id,
                      st_image.width, st_image.height,
                      st_image.get_image_data()[0]))

                # 画像データを取得
                data = st_image.get_image_data()

                # データをNumPy配列に変換
                nparr = np.frombuffer(data, np.uint8)

                # 画像を表示用に処理
                nparr = nparr.reshape(st_image.height, st_image.width, 1)

                # 画像をリサイズして表示
                nparr = cv2.resize(nparr, None,
                                   fx=DISPLAY_RESIZE_FACTOR,
                                   fy=DISPLAY_RESIZE_FACTOR)
                cv2.imshow('image', nparr)
                cv2.waitKey(1)
            else:
                # 取得したデータに画像データが含まれていない場合
                print("Image data does not exist.")

    # カメラ側の画像取得を停止
    st_device.acquisition_stop()

    # ホスト側の画像取得を停止
    st_datastream.stop_acquisition()

except Exception as exception:
    print(exception)

このコードでは、カラー画像の変換や不要な処理を省略し、モノクロ画像の表示に焦点を当てています。st_image.get_image_data()で取得したデータをそのまま表示しています。

OMRON SENTECカメラ Python Buildup (4) grab_opencv.py