はじめに

本記事は Qiita AdventCalendar2022 Elixir vol9 7日目の記事です

Evisionシリーズの3つ目の記事になります
このシリーズは技術評論社のOpenCVではじめようディープラーニングによる画像認識の7章の内容を参考にElixirとEvisionで書き換えて行っています

この記事ではLivebook上で画像処理ライブラリOpenCVのElixirラッパーのEvisionのCascadeClassifierを使って顔認識を行う方法を紹介します

Livebookについて

Livebook is a web application for writing interactive and collaborative code notebooks.

LivebookはコラボレーションもできるElixir対話的実行環境を提供するWebアプリケーションです

Evisionについて

OpenCVのElixirラッパー
Port等を使わずに直にElixirから使うことができる
Nxのバックエンドとして使用でき、行列演算の高速化(CPU,GPU)ができる
Nxデータに相互に変換できる
膨大な画像処理の関数を使用できる
DNNモジュールでCV分野の多くの学習済みモデルを使用できる

setup

実行環境は以下で行いました
OS macOS monterey
Hard apple m1 max
elixir 1.14.1-otp-25
erlang 25.0.4

livebook 0.7.2
evision 0.1.16

Livebookの環境は本家のgithubからクローンしたものを使っています

Evision(OpenCV)ができること

画像処理 Evision Module
キャプチャ Evision.VideoCapture
行列処理 Evision.Mat　(Evision独自実装)
AI/ML

ML(機械学習) module
DNN(深層学習) module
CascadeClassifier
FaceDetector
....

今回やること

色々できますが、今回は以下に絞って紹介します

Livebook上でeivison環境のセットアップ
画像の読み込み
画像のグレースケール変換
CascadeClassifierで顔認識

Livebook上でeivison環境のセットアップ

READMEに沿って最新版のlivebookを起動させます

git clone https://github.com/livebook-dev/livebook.git
cd livebook
mix deps.get --only prod
MIX_ENV=prod mix phx.server

起動すると認証トークン付きのurlが表示されるのでそれにアクセスします

[Livebook] Application running at http://localhost:8080/?token=[your token]

アクセスしたら
setupのところに以下のMix.installを追加します

Mix.install([
  {:evision, "~> 0.1.21"},
  {:kino, "~> 0.7.0"}
])

次にEvisionが頻繁に打つには長いので aliasと
現在実行しているlivebookのフォルダが作業ディレクトリなので、画像等を置いてあるフォルダのパスを指定します
２つ目はlivebookのフォルダに直接置くのであれば不要です

alias Evision, as: Ev
base = "/Users/shou/livebook_samples/"

画像の読み込み

画像の読み込みは Evision Moduleにimreadがあるのでそちらを使います

Ev.imread(base <> "images/dog.jpg")

これを実行すると３つのタブがついたセルが表示されます
こちらは最近実装された機能で、本来はimencode で画像形式に変換した後に　　Kino.Image.new しなければ画像を出力できなかったのですが、
Evision.Mat構造体が最後に出力される場合に以下のようなセルが表示されるようになりました

Imageはそのまま画像で、Rawはデータ構造、NumericalはNxのテンソルがそれぞれ表示されます

imread/2はオプションを指定でき、画像処理でよく使われるのはグレースケールでの読み込みになります

Ev.imread(base <> "images/dog.jpg", flags: Ev.cv_IMREAD_GRAYSCALE())

画像のグレースケール変換

先のほどの imreadのオプションでグレースケールで読み込めましたが、今度はもとはカラーのものをグレースケール変換していきます

関数は Evision.cvtColor/2を使います

Ev.imread(base <> "images/dog.jpg")
|> Ev.cvtColor(Ev.cv_COLOR_BGR2GRAY())

第２引数は Evision.cv_COLOR_ でいくつか定数が定義されているので、気になる方は　livebookの補完かドキュメントで調べてみてください

CascadeClassifierで顔認識

カスケードは複数の分類器を繋げて行うアンサンブル学習の一種です。画像が与えられたとき、まず特徴抽出器で画像から特徴量を抽出します。その特徴量がカスケード分類器に与えられ、分類結果 (positive または negative) が出力されます。

from https://pystyle.info/opencv-cascade-classifier/

今回は顔か顔でないかを判別するデータを使います
データはこちら

使う関数は分類器を作成する cascadeClassifierと検知する DetectMultiScale2 です

https://hexdocs.pm/evision/Evision.CascadeClassifier.html#cascadeClassifier/1
https://hexdocs.pm/evision/Evision.CascadeClassifier.html#detectMultiScale2/3

image = base <> "images/face.jpg"
path = base <> "opencv_file/hararcascade_frontalface_default.xml"

mat = Ev.imread(image)
gray_image = Ev.cvtColor(mat, Ev.cv_COLOR_BGR2GRAY())
cascade = Ev.CascadeClassifier.cascadeClassifier(path)
{boxes, _numDetections} = Ev.CascadeClassifier.detectMultiScale2(cascade, gray_image)

実行すると２つ座標が返ってきます
タプルの２要素目は numDetectionsとなっていますがよくわかりませんが、今回は使わないので無視します

{[{260, 36, 47, 47}, {296, 129, 81, 81}], [5, 5]}

座標データをもとに Evision.rectangleで短形を描画します
引数はそれぞれ

Matrix
x,y座標
width,height
線の色(今回は赤)
先の太さ
となっています

Enum.reduce(boxes, mat, fn {x, y, w, h}, mat ->
  Ev.rectangle(
    mat,
    {x, y},
    {x + w, y + h},
    {0, 0, 255},
    thickness: 2
  )
end)

実行すると元画像に検知した範囲を囲んだ以下のような画像が出力されます

最後に

書籍の内容に沿って画像の読み込み、グレースケール変換、顔認識といったことをやっていきました
書籍が手元にあれば各メソッドや処理の解説を読むこともできますので、興味が出た方は以下でElixirで書き直したコードを載せていますので試してみてください

EvisionのCascadeClassifierで顔認識をやってみた