はじめに

去年、日本三大提灯祭り 360年続く伝統の二本松提灯祭りの提灯を最新のAIで画像認識してみたを投稿しました。去年に引き続き、今年も、続編となる記事を投稿します。
去年は、静止画を対象としていましたが、今年は、認識した結果を動画に組み立ててご覧いただけるようにしました。また、膨大な数の提灯を認識するので、その数をカウントするようにしました。

学習モデル

去年と同様YOLOにて物体検知しました。学習結果モデルは、去年と全く同じそのものを使用しました。

./yolov5/runs/train/chochin/weights/best.pt

なお、去年は、pythonコマンドでYOLOを動作させましたが、今年は、pythonの関数を呼ぶようにしました。
具体的には、下記の通り、yolov5をimportし、detect.run()で物体検知します。

import yolov5.detect as detect
detect.run(weights='best.pt',source=filename_result,save_csv=True)

提灯カウンター

山車が交差点を曲がる際、提灯がゆらゆらするので認識が難しかろうと、交差点を曲がる際の動画を１分ぶん対象としてカウントします。

このような祭りの山車ものって、まがるところが魅せ場だったりするんですよね。今回、山車がきて人混みができる前に、私がスタンバって待っていると、隣に子連れの若夫婦がいたので、旦那さんに「今からここで待ってるなんて、通だね。」って声をかけたら、「隣町のお祭りで若連やっていて、曲がり角が見ものなんでね。」って言ってました。さすが現役のお祭りストだと思いました。隣町のお祭りも面白いので今度見に行こうっと。

閑話休題、提灯カウンターの話に戻りましょう。
各字によって、曲がり方に特徴があり、あっさり曲がっていく場合もあり、ゆっくり曲がっていく場合もあり、最大１分程度かかるので、カウント対象の動画を１分としました。その１分の開始位置は、各動画でまちまちなので、目視確認後、その開始時間を入力するようにしました。

以下、YOLOで提灯を検知し、正しく認識できた数をカウントアップする関数を作りました。

import cv2
import yolov5.detect as detect
import shutil
import pandas as pd
import os

filename_result = 'result.png'                     # YOLOで物体検知する対象の画像
yolo_detect     = './yolov5/runs/detect/exp/'      # YOLOで物体検知した結果フォルダ
filename_yolo   = yolo_detect + filename_result    # YOLOで物体検知した結果画像

# 提灯カウンター
def count_chochin(
    filename_in,  # 動画ファイル名称（入力用：物体検知する対象の動画）
    filename_out, # 動画ファイル名称（出力用：提灯を認識した矩形と数を描画した動画）
    label,        # ラベル（どの字の動画か？）
    count_start,  # カウント開始秒数
    count_end):   # カウント終了秒数

    # 動画ファイルオープン
    cap = cv2.VideoCapture(filename_in)
    if not cap.isOpened():
        return -1
    # fpsの取得
    fps = int(cap.get(cv2.CAP_PROP_FPS))
    # カウント開始/終了をフレーム番号に変換
    count_start_frameno = fps * count_start
    count_end_frameno   = fps * count_end
    frameno             = 0
    total_true_count    = 0
    # 動画終了までのループ
    while True:
        # １フレーム読み込み
        ret, frame = cap.read()
        if ret:
            print(frameno)
            if frameno==0:
                # 初回処理（出力動画を作成）
                fourcc = cv2.VideoWriter_fourcc('m','p','4', 'v')
                video  = cv2.VideoWriter(filename_out, fourcc, fps, (frame.shape[1], frame.shape[0]))

            # カウント対象の場合
            if count_start_frameno<=frameno and frameno<count_end_frameno:
                # 物体検知する静止画を、ファイル保存
                cv2.imwrite(filename_result,frame)
                # YOLOで物体検知
                detect.run(weights='best.pt',source=filename_result,save_csv=True)
                # 認識結果の画像
                img = cv2.imread(filename_yolo)
                # 正しく認識できた数の取得
                filename_predict = yolo_detect + 'predictions.csv'
                if os.path.exists(filename_predict):                        # ファイルが作成されていれば、
                    df_predict = pd.read_csv(filename_predict,header=None)  # 読み込んで、
                    df_predict = df_predict[df_predict[1]==label]           # 同じラベルのみを取得し、
                    true_count = df_predict.shape[0]                        # その数を取得する
                else:
                    true_count = 0                                          # ファイルが作成されなければ、０
                total_true_count += true_count
                # 認識結果ファイルをフォルダごと削除
                shutil.rmtree(yolo_detect)
            else:
                img = frame

            if total_true_count>0:
                # 正しく認識できた数を表示
                total_true_count_test = f'{total_true_count:>6}'
                cv2.putText(img, text=total_true_count_test,org=(1400, 1050),fontFace=cv2.FONT_HERSHEY_PLAIN,fontScale=8.0,color=(255, 255, 255),thickness=5,lineType=cv2.LINE_8)

            # 出力用動画に１フレーム追加書き込み
            video.write(img)
            frameno+=1
        else:
          video.release()
          return 0
    return

以下、解説します。

関数の入力パラメータ

入力パラメータは、

動画ファイル名称（入力用：物体検知する対象の動画）
動画ファイル名称（出力用：提灯を認識した矩形と数を描画した動画）
ラベル（どの字の動画か？）
カウント開始秒数
カウント終了秒数

処理概要は、ざっくりと、動画ファイル名称（入力用）を読み込んで、カウント開始秒数からカウント終了秒数までの各フレームでYOLOで物体検知し、認識した結果が、ラベル（どの字の動画か？）と同じだったらその数をカウントし、ラベル矩形と認識した数を画像に重ね合わせて表示し、動画ファイル名称（出力用）を作成する、といった感じです。

動画処理（入力動画）

opencvで動画ファイルをオープン（cap=cv2.VideoCapture）し、１フレームずつ処理します。（cap.read）後で動画に組み立て直すので、fpsも取得（cap.get）しておきます。また、入力パラメータのカウント開始/終了は秒ですので、fpsを使ってフレーム番号に変換します。

物体検知

detect.run()で物体検知してくれるのですが、ファイルで入力/出力するので、ちょっとめんどかったです。

入力ファイル

メモリのまま画像イメージを渡すことができなかったので、（実はできるのですかね？）一旦ファイルに書き込んで（cv2.imwrite）、そのファイルを物体検知するようにしました。

出力ファイル

検知結果も、メモリでもらうことができなかったので、ファイルに出力したものを、読み込むようにしました。検知した結果のファイルは、以下２ファイル作成されます。

result.png
物体検知できた提灯の矩形とラベル、信頼度を表示した画像

亀谷の提灯を認識してますが、なぜか、交通整理のおじさんのヘルメットも、認識してしまっています。
predictions.csv（save_csv=Trueとした場合）
物体検知できた提灯のラベルと信頼度（0-1）
単純に読み込んで先頭を表示すると以下のようになります。ヘッダがないですが、"画像ファイル名","ラベル","信頼度"の順になります。

0	1	2
0	result.png	亀谷	0.26
1	result.png	亀谷	0.27
2	result.png	亀谷	0.29
3	result.png	亀谷	0.31
4	result.png	亀谷	0.3

認識結果は、./yolov5/runs/detect/exp/に書き込まれるのですが、expフォルダが存在していれば、exp2が作成され書き込まれます。以下順に、exp3,exp4と作成されていきます。ですので、毎回shutil.rmtree()により、認識結果ファイルをフォルダごと削除し、必ずexpフォルダに格納されるようにました。

検知結果

predictions.csvができていれば、何らかの物体検知ができたことになるので、そのファイルを読み込み（pd.read_csv）、入力パラメータのラベルと同じラベルが認識できていれば（df_predict[1]==label）、その数をカウントします（df_predict.shape[0]）。それを、トータルの数に積算していきます（total_true_count += true_count）。正しく認識できた数として、画像の右下に表示します（cv2.putText）。なお、今回は、信頼度は参照せず、信頼度が低くとも、正しく認識できればカウントするようにしました。

動画処理（出力動画）

初回のみ、opencvで動画ファイルを書き込みオープン（cv2.VideoWriter_fourcc、cv2.VideoWriter）します。その後、１フレームずつ、video.writeで書き込み、最後は、video.releaseで終了します。

動画ファイルのリスト

各字の動画ファイル名と、ラベル、カウント開始秒をリストで定義します。カウント開始秒は、前述の通り、目視で確認しました。カウント終了秒は、全て１分（６０秒）なので、共通で60秒を設定します。

file_list = [
    # ファイル名、     ラベル、カウント開始秒
    ['1_Motomachi.MOV', '本町', 110],
    ['2_Kamegai.MOV',   '亀谷',  40],
    ['3_Takeda.MOV',    '竹田',   1],
    ['4_Matsuoka.MOV',  '松岡',  20],
    ['5_Nezaki.MOV',    '根崎',  75],
    ['6_Wakamiya.MOV',  '若宮',  40],
    ['7_Kakunai.MOV',   '郭内',  60],
]
# カウントする秒数
count_time = 60

処理実行

ファイルリストをループし、１動画ずつ、提灯カウンター関数をコールします。iPhoneで撮影したので、.MOVとして保存されていたので、.mp4として処理結果の動画を保存します。ここはちょっと力技になってしまいますが、ファイル名をreplace関数により、'.MOV'⇒'.mp4'に変換しています。

# ファイルリストのループ
for file in file_list:
    # 動画ファイル名称（入力用：物体検知する対象の動画）
    filename_in  = f'data/{file[0]}'
    # 動画ファイル名称（出力用：提灯を認識した矩形と数を描画した動画）
    filename_out = filename_in.replace('.MOV','.mp4')
    # ラベル
    label        = file[1]
    # カウント開始/終了秒数
    count_start  = file[2]
    count_end    = count_start + count_time
    print(filename_in,filename_out,label,count_start,count_end)
    # 提灯カウンターをコール
    count_chochin(filename_in,filename_out,label,count_start,count_end)```

音声を追加

動画を１フレームずつ処理し、物体検知した結果を、新しい動画として作成したが、音声がないので、オリジナル音声を追加します。

from moviepy.editor import VideoFileClip, AudioFileClip

# ファイルリストのループ
for file in file_list:
    # 音声ファイル（オリジナル動画）
    filename_audio  = f'data/{file[0]}'
    # 動画ファイル（認識結果動画）
    filename_movie  = filename_audio.replace('.MOV','.mp4')
    # 音声を追加した認識結果動画ファイル
    filename_out    = filename_movie.replace('.mp4','_count.mp4')
    print(filename_audio,filename_movie,filename_out)

    # 動画ファイルを指定
    video_clip = VideoFileClip(filename_movie)
    # 音声ファイルを指定
    audio_clip = AudioFileClip(filename_audio)

    # 音声をセット
    final_clip = video_clip.set_audio(audio_clip)
    # 音声を追加した動画を書き込み
    final_clip.write_videofile(filename_out, codec='libx264', audio_codec='aac')

物体検知するために定義したファイルリストをそのままループさせ、１動画ファイルずつ処理します。処理内容は、VideoFileClipに、AudioFileClipの音声をセットするだけになります。

提灯カウンターの処理結果

各字毎に、

提灯に描かれた文字の認識のしやすさ
交差点のどのコースをまがっていくか
カメラ手前でとどまってくれるか

などにより、正しく認識できた提灯の数は、各字毎で大きく異なります。

字	正しく認識できた数
本町	128,867個
亀谷	108,698個
竹田	48,689個
松岡	41,063個
根崎	110,297個
若宮	82,436個
郭内	85,497個

詳細は、動画をご確認ください。

考察

去年の結果からも、「本町」の認識はそもそもよかったが、山車がカメラの手前でとどまってくれたので、さらに有利に働き、12万個以上の提灯を認識できた。
「亀谷」は、「本町」と同じようなコースをたどり、そこそこ認識できたが、「龜」「谷」の二文字なので認識が難しく、本町には及ばなかった。
「竹田」「松岡」は、どちらもやんわり（ゆっくり、とか、ちょっとずつ、とかの意味の土地言葉、特にお祭りで使われる。）曲がっていき、カメラから遠く、かつ、あっさり過ぎ去っていったので、認識できた提灯の数は低迷していた。やんわり曲がる場合に、遠くの小さい提灯を認識せざるを得ないケースでは、ほぼ「亀谷」と誤認識している。「龜」の字がごちゃごちゃしているので、遠目の小さい提灯はみんな「龜」に見えているのではないか？小さい提灯の教師データも作って再学習しないといけない。「松岡」は、近づいてきても「若宮」と誤認識するケースが多かった。松の異体字「枩」も「若」も横線が多く似ているためと考えられる。
「根崎」は、「本町」と同じようなコースをたどったが、90度曲がる際に時間がかかり、正面からの映像が多く、映り込む提灯の数が少なかったため、結果的に、認識できた提灯の数が「本町」に及ばなかったのだろう。
「若宮」「郭内」は、90度まがる位置が、カメラからちょっと遠かったので、認識が難しかったようである。「郭内」の「郭」も字画が多く、認識が難しいが、カメラ手前でとどまってくれたので提灯が大きく映り、「若宮」超えの認識数となった。
「亀谷」「根崎」の動画に、交通整理のおじさんのヘルメットが映り込み、それを提灯と誤認識ケースが多発した。本来は、この原因究明と対策や、カウント方法の改善が必要だが、趣味でやっているので、このままにしておく。（ちょっと面白いので、）

【参考】去年の動画

おわりに

360年続く伝統のお祭りでは、提灯のデザインをモデルチェンジすることはありませんので、今年は教師データを作らず、学習モデルも去年のまま使用しました。しかし、動画として連続静止画を何枚も画像認識すると、さすがに認識率の悪さが目立つようにもなり、再学習が必要かなと思いました。来年は、教師データをとり直して、ラベリングし、再学習して認識率改善できるように努めたいなぁ。