想定する場面
照度計や温度計といったデジタル表示のディスプレイを監視して記録する。
(写真はイメージ)
プログラムの内容＆流れ
既存のssocrというプログラムとpythonのコマンド操作機能を組み合わせて
映像から数値を認識してCSVに出力するプログラムを作成した。
1.動画から静止画を生成する。
2.静止画を回転させて数値が水平になる角度を探す。
3.ディスプレイ領域を把握する。
4.数値の抽出＆CSVファイルへ書込み。
出力イメージ
導入(Linux/Mac)
☆すべてターミナル上で実行
・ssocrのインストール
sudo apt-get update
sudo apt-get install libx11-dev
sudo apt-get install libimlib2-dev
git clone https://github.com/auerswal/ssocr.git
cd ssocr
make
sudo mv ./ssocr /usr/local/bin/ssocr
ssocr --version
・pythonのインストール
sudo apt install python
ライブラリのインストール
pip install opencv-python
導入(Windows)
☆コマンドプロンプトとCygwinコンソールで実行
・Cygwinをインストール
インストールと同時に以下のパッケージをインストール
・git
・make
・gcc-core
・gcc-g++
・libintl-devel
・imlib2
・imlib2-devel
・cygutils-X11
※後でもインストール可能
・ssocrのインストール
git clone https://github.com/auerswal/ssocr.git
cd ssocr
make
mv ./ssocr /usr/local/bin/ssocr
ssocr.exe --version
・Microsoft StoreのPythonをダウンロード＆インストール
・ライブラリのインストール（コマンドプロンプトで）
pip install opencv-python
・ソースコードのsubprocess.run()のssocrをssocr.exeに変更する。
使い方
(Linux/Mac)
・デスクトップに抽出する動画を置く
・cdコマンドでmain.pyのあるディレクトリまで移動
・以下コマンド実行
python3 main.py
(Windows)
・デスクトップに抽出する動画を置く。
・cdコマンドでmain.pyのあるフォルダまで移動する。（Cygwinコンソールで）
・以下コマンドでpythonの実行ファイルのフルパスを調べる。
where.exe python
・python main.pyではなく以下コマンドで実行する。（Cygwinコンソールで）
pythonの実行ファイルのフルパス + main.py
映像から数値を抽出する pic.twitter.com/sAOYiwT2xe
— てと (@ppyyaammaa) August 8, 2022
ソースコード
main.py
import os
import subprocess
import cv2
class NumberExtraction(object):
def __init__(self,base_path_name,movie_file_name):
self.base_path_name = base_path_name
self.movie_file_name = movie_file_name
self.movie_path_name = base_path_name + "/" + movie_file_name
self.rotate_path_name = base_path_name + "/angle"
self.divide_path_name = base_path_name + "/frame"
self.csv_path_name = base_path_name + "/extracted_number.csv"
self.cap = cv2.VideoCapture(self.movie_path_name)
self.digit = len(str(int(self.cap.get(cv2.CAP_PROP_FRAME_COUNT))))
def fps(self, movie_path_name):
cap = cv2.VideoCapture(a.movie_path_name) # 動画を読み込む
video_fps = cap.get(cv2.CAP_PROP_FPS) # フレームレートを取得する
return video_fps
def save_all_frames(self,dir_path, basename, ext='jpg'):
subprocess.run(["mkdir", self.divide_path_name])
if not self.cap.isOpened():
return
os.makedirs(dir_path, exist_ok=True)
base_path = os.path.join(dir_path, basename)
n = 1
while True:
print(f"フレーム分解中:{n}")
ret, frame = self.cap.read()
if ret:
cv2.imwrite('{}_{}.{}'.format(base_path, str(n).zfill(self.digit), ext), frame)
n += 1
else:
return
def rotate_picture(self,start_number,change_angle):
subprocess.run(["mkdir", self.rotate_path_name])
path = self.divide_path_name + "/div_" + str(start_number).zfill(self.digit) + ".jpg"
img = cv2.imread(path)
height, width = img.shape[:2]
img = cv2.resize(img,(round(width/4), round(height/4)))
height, width = img.shape[:2]
center = (width/2, height/2)
i = 1
while True:
print(f"{i}度回転画像生成")
rotate_matrix = cv2.getRotationMatrix2D(center=center, angle=i, scale=1)
rotated_image = cv2.warpAffine(src=img, M=rotate_matrix, dsize=(width, height))
cv2.imwrite(self.rotate_path_name +"/"+ str(i) + ".jpg",rotated_image)
cv2.waitKey(0)
cv2.destroyAllWindows()
i += change_angle
if i > 360:
break
def coordinate(self,start_number):
print("ディスプレイ範囲の設定")
print("1:左上と右下をクリックする")
print("2:適当なボタンを押すと画面ビューが終了する")
print("3:コンソールで半角スペースを入れて4つの数値を入力(例：279 180 733 447)")
print("4:Enter")
def onMouse(event, x, y, flags, params):
if event == cv2.EVENT_LBUTTONDOWN:
print(x,y)
img = cv2.imread(self.divide_path_name + "/div_" + str(start_number).zfill(self.digit) + ".jpg")
cv2.imshow('area_setting', img)
cv2.setMouseCallback('area_setting', onMouse)
cv2.waitKey(0)
cv2.destroyAllWindows()
x1,x2,y1,y2= input().split()
trimming_area = [int(x1),int(x2),int(y1),int(y2)]
return trimming_area
def width_hight(self, trimming_area):
w = trimming_area[2] - trimming_area[0]
h = trimming_area[3] - trimming_area[1]
wh = [w,h]
return wh
def extract_number(self, rotate, trimming_area, wh, start_frame, finish_frame, fps):
# 回転角度
r = str(360-rotate)
# 座標指定
x = str(trimming_area[0])
y = str(trimming_area[1])
w = str(wh[0])
h = str(wh[1])
i = start_frame
count_null = 0
count_extract = 0
count_frames = 0
while True:
j = self.divide_path_name + "/div_" + str(start_frame).zfill(self.digit) + ".jpg"
a = subprocess.run(["ssocr","-D","crop",x,y,w,h,"rotate",r,"-T","-d","-1",j],stdout=subprocess.PIPE)
start_frame += fps
#CSVファイルへの書き込み
path = self.csv_path_name
if start_frame / fps < 60:
print(f"0:{str(int(start_frame / fps)).zfill(2)}")
with open(path, "a") as file:
file.write(f"0:{str(int(start_frame / fps)).zfill(2)}")
file.write(",")
else:
print(f"{int(start_frame / fps) // 60}:{str(int(start_frame / fps) % 60).zfill(2)}")
with open(path, "a") as file:
file.write(f"{int(start_frame / fps) // 60}:{str(int(start_frame / fps) % 60).zfill(2)}")
file.write(",")
try:
print(int(a.stdout))
count_extract += 1
count_frames += 1
with open(path,"a") as file:
file.write(str(int((a.stdout))))
file.write("\n")
except:
print("NULL")
count_null += 1
count_frames += 1
with open(path, "a") as file:
file.write("NULL")
file.write("\n")
if start_frame > finish_frame:
print(f"測定フレーム数：{count_frames}\n抽出成功フレーム数：{count_extract}\n抽出失敗フレーム数：{count_null}\n")
print(f"抽出成功率：{int((count_extract/count_frames)*100)}%")
break
desktop_path = input("デスクトップまでのパスを入力してください。＞＞")
movie_name = input("測定する動画のファイル名を入力してください。＞＞")
a = NumberExtraction(desktop_path,movie_name)
fps = int(a.fps(a.movie_path_name))
a.save_all_frames(a.divide_path_name,"div")
view_number = int(input("[frame]フォルダを確認してビューに使用するフレーム番号を入力してください。＞＞"))
a.rotate_picture(view_number,1)
trimming_area = a.coordinate(view_number)
wh = a.width_hight(trimming_area)
start_number = int(input("[frame]フォルダを確認して測定する最初のフレーム番号を入力してください。＞＞"))
finish_number = int(input("[frame]フォルダを確認して測定する最後のフレーム番号を入力してください。＞＞"))
angle = int(input("[angle]フォルダを確認して数値が水平となるファイル番号を入力してください。＞＞"))
a.extract_number(angle,trimming_area,wh,start_number,finish_number,fps)
※随時、変更・修正・追加しています。
指摘・不明点・要望などあれば気軽にメッセージください。