More than 1 year has passed since last update.

[Python] WEBカメラ物体認識とRGB値取得プログラムを作成した[OpenCV]

Last updated at 2022-01-30Posted at 2022-01-30

PythonでWEBカメラを操作して物体の認識とその物体のRGB値を取得するプログラムを開発しました。
何を考えてどう作ったのか、というところを備忘録として記事を書きました。

Pythonを勉強し始めて約半年の人間の作成物ですので、まだ改良の余地はたくさんです。
これからどんどん進化させて行きたいと思っています。

背景

現在、私はメーカーの工場で技術開発職として勤務をしています。工場現場における製品の工程設計・不良率削減・作業効率化を主な業務としています。

工場現場では、工程設計時に「流石に発生しないだろう」というようなトラブルが発生することがあります。
不良製品を出荷することがないよう内部で食い止めるために最新の注意を払っていますが、それでも流出してクレームになるということがあります。

その度に恒久対策としてシステムの導入を試みます。
しかし、「設計から着手までの期間が長い」「ケースがレアすぎるために導入しても価格と効果の採算が取れない」といったような理由からすぐに導入ができないという問題があります。

そのような場合に、自分たちで少しプログラミングして簡単なシステムを作ることができれば、すぐに導入できるし導入コストもほぼ０で達成できるのではないかと考え、導入できるかはさておき自分で作ってみようとなりました。

今回作成したもの

今回作成したものは、印刷物のプリント確認です。詳細は避けますが、簡単に説明します。

プリンターで紙に絵や柄を印刷します。連続で印刷するので、排紙部には印刷された紙が溜まります。
作業者はその紙を目視で確認し、印刷されていることを確認しますが見落としにより印刷されていない白紙が混ざってしまう場合があります。

その見落としを防ぐために、WEBカメラを使用して確認を行いたいと考えました。

排紙部に紙が出てきたことをWEBカメラが検知してその紙を撮影、紙の4つの頂点を検知してその中点の周りのエリアの平均のRGB値を取得します。

そのRGB値とプリント前の白紙のRGB値の値を比較して、差がある(プリントされている)かどうかを確認します。

差がない(プリントされていない)場合に、ログに「○枚目の紙がプリントされていない可能性があります。」と表示させることで、出荷前に確認することができるようになるために、流出を避けることができる。

という簡易的な自動目視確認プログラムを作成してみました。

コード

コードはこちらにアップしています。適宜リファクタリングする予定です。

主な関数の内容

環境は以下のとおりです。・Python 3.9.6 ・Opencv 4.0.1 ※anaconda使用

####ライブラリ
OpenCVを利用する時に利用したライブラリは以下です。(他はGitHubを参照ください)

import cv2

WEBカメラの動作

# カメラキャプチャの開始
    cap = cv2.VideoCapture(0)

# イメージを定義
    img = cap.read() # カメラキャプチャのウィンドウ表示
    img = cv2.resize(img, (600, 400)) # ウィンドウフレームのサイズを扱いやすいサイズに変更

#ここはカメラのフレームサイズ、FTP値によって変更する
    cap.set(cv2.CAP_PROP_FPS, 30)           # カメラFPSを設定
    cap.set(cv2.CAP_PROP_FRAME_WIDTH,3840) # カメラ画像の横幅を設定3840
    cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 2160) # カメラ画像の縦幅を設定2160

# カメラで移されている映像を表示する
    cv2.imshow("test", img) # 第１引数はウィンドウ名、第２引数は画像の名前

# カメラの解放
    cv2.waitKey(0) # 何かしらのキーを押すと次へ進む
    cv2.destroyAllWindows() # ウィンドウ表示を終了
    cap.release() # カメラの解放

画像の処理

# 撮影画像の保存
    cv2.imwrite("ファイル名", img)

# 画像の読み込み
    image = cv2.imread()

# 画像のグレースケール化
    img_gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

# 画像をCanny法により、エッジを検出できる形にする
    threshold1 = 100
    threshold2 = 200
    edge = cv2.Canny(img_gray, threshold1, threshold2)

# 膨張処理　境界線を太くする
    kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (2, 2))
    dilates = cv2.dilate(edge, kernel)

# 輪郭の検出
    contours, hierarchy = cv2.findContours(dilates, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 輪郭の見つける
    
# 小さい輪郭は削除(検出するものは比較的大きいため、小さい物体を検出しないようにする)
    contours = list(filter(lambda x: cv2.contourArea(x) > 10000, contours)) #cv2.contourAreaで輪郭の大きさを算出している
    
# 座標を抽出
    for contour in contours:
        x, y, w, h = cv2.boundingRect(contour)
        print(x, y, w, h)

# 輪郭の描画
    cv2.drawContours(image, contours, -1, color=(255, 255, 255), thickness=2)

# 4つの頂点をマーキング
    cv2.circle(img=image, center=(x, y), radius=10, color=(255, 255, 255), thickness=2)
    cv2.circle(img=image, center=(x + w, y), radius=10, color=(255, 255, 255), thickness=2)
    cv2.circle(img=image, center=(x, y + h), radius=10, color=(255, 255, 255), thickness=2)
    cv2.circle(img=image, center=(x + w, y + h), radius=10, color=(255, 255, 255), thickness=2)

# 4つの頂点から中点を算出する
    center_x = int(x + (w / 2))
    center_y = int(y + (h / 2))

# 中点回りの範囲の色情報を取得するためのBOXを作る(描画)
    boxFromX = center_x - 50
    boxFromY = center_y - 50
    boxToX = center_x + 50
    boxToY = center_y + 50
    imgBox = image[boxFromY : boxToY, boxFromX : boxToX]

    cv2.rectangle(image, (boxFromX, boxFromY), (boxToX, boxToY), (255, 255, 255), thickness=1, lineType=cv2.LINE_8, shift=0)

# Box内のRGB値を出力する
# flattenで一元化してmeanで平均を取得
    b = imgBox.T[0].flatten().mean()
    g = imgBox.T[1].flatten().mean()
    r = imgBox.T[2].flatten().mean()

# RGB値を表示する
    print("R : " + str(int(r)))
    print("G : " + str(int(g)))
    print("B : " + str(int(b)))
    RGB = [str(int(r)), str(int(g)), str(int(b))]
    
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

# 画像上に検出した頂点と輪郭と四角を
    plt.imshow(image, cmap = "gray")