白で囲まれた領域・クラックを埋める【道具としての OpenCV 画像認識】

本記事でできること

元画像

白埋めした画像

想定シーン

ロボットをビジュアルフィードバック制御する

カメラを使ったロボットアームの制御方法を、ビジュアルフィードバック制御といいます。ここでは、ビジュアルフィードバック制御を使った自動化システムを開発する際に必要となる画像認識プログラムをまとめています。

白で囲まれた領域・クラックを埋める

画像認識フィルターで対象物体を認識するとき、たとえば白い対象物体の中央にロゴやイラストなどがある場合、色や明るさでフィルターすると、中央部分が黒く欠けてしまう場合があります。この欠けをなくしたいケースがあります。また、対象物体のキズやクラックを認識してその画像領域を白く塗りたいこともあります。本記事では、白で囲まれた領域を白く塗って埋めるプログラムを掲載します。

実行環境

• OS：Ubuntu 22.04 LTS
• 言語：C++
• クルーボ：v5.1.0

クルーボについて

ロボットアプリケーション開発には、株式会社チトセロボティクスのロボット制御ソフトウェア「クルーボ」を使用します。本記事のプログラムは、クルーボがインストールされた制御コンピュータ上で動作します。

• クルーボの製品サイト：https://chitose-robotics.com/

プログラム抜粋

cv::Mat fill_black_hole(const cv::Mat& image) {
    cv::Mat filled_image = convert_grayscale(image);
    std::vector<std::vector<cv::Point>> contours;
    std::vector<cv::Vec4i> hierarchy;
    cv::findContours(filled_image, contours, hierarchy, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE);
    for (int i = 0; i < (int)contours.size(); i++) {
        cv::drawContours(filled_image, contours, -1, cv::Scalar(255), -1);
    }
    return filled_image;
}

全体プログラム

#include <iostream>
#include <opencv2/opencv.hpp>

cv::Mat load_image(const std::string file_path) {
    cv::Mat loaded_image = cv::imread(file_path, 1);
    if (loaded_image.empty()) {
        throw std::runtime_error("画像を正常に読み込めませんでした。");
    }
    return loaded_image;
}

cv::Mat convert_grayscale(const cv::Mat& image) {
    const int grayscale_channel_num = 1;
    if (image.channels() == grayscale_channel_num) {
        return image.clone();
    }
    cv::Mat gray_image;
    cvtColor(image, gray_image, cv::COLOR_BGR2GRAY);
    return gray_image;
}

cv::Mat fill_black_hole(const cv::Mat& image) {
    cv::Mat filled_image = convert_grayscale(image);
    std::vector<std::vector<cv::Point>> contours;
    std::vector<cv::Vec4i> hierarchy;
    cv::findContours(filled_image, contours, hierarchy, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE);
    for (int i = 0; i < (int)contours.size(); i++) {
        cv::drawContours(filled_image, contours, -1, cv::Scalar(255), -1);
    }
    return filled_image;
}

int main(void) {
    std::string file_path = "../data/image_with_black_hole.jpg";
    const cv::Mat loaded_image = load_image(file_path);

    const cv::Mat filled_image = fill_black_hole(loaded_image);

    cv::imshow("window", filled_image);
    cv::waitKey(0);
}

おわりに

人手作業をロボットアームで自動化するために、カメラを使ったロボット制御＝ビジュアルフィードバック制御が大切です。
ロボット制御用の画像認識でも中身のひとつひとつはシンプルなので、要素に分解して解説していきたいと思います。