はじめに

普段遠隔授業を受けている学生さん！！
授業のスライドを残してくれない先生いますよね？
後でスライドを見直したい場合，毎回手動でスクリーンショットを取らなくちゃいけなくて面倒です．

ということで，Pythonを使って画面の変化を検出しスライドを自動でスクショしてくれるプログラムを作っていきたいと思います．

(new!)完成品をダウンロードしたい方

UI付きの完成品(exeファイル)をgithubにアップロードしました．

使用言語

Python

使用ライブラリ

OpenCV (画像処理)
PyAutoGUI (スクリーンショットの自動化)

標準ライブラリ：numpy，time

仕組み

①一定時間ごとに画面をスクリーンショット
②画面の変化量を調べ，一定の数値を越えたらその画像を保存

実装

二つの画像の変化量を返す関数

ImageChangeRate.py

import cv2
def ImageChangeRate(img1,img2,isShow=False):
    # 画像をグレースケールに変換
    img1 = cv2.cvtColor(img1, cv2.COLOR_BGR2GRAY)
    img2 = cv2.cvtColor(img2, cv2.COLOR_BGR2GRAY)

    # 2枚の画像の差分を求める
    mdframe = cv2.absdiff(img1,img2,0.5)
    # 白と黒の2色の画像にする
    thresh = cv2.threshold(mdframe, 10, 255, cv2.THRESH_BINARY)[1]

    #画像サイズ
    image_size = thresh.size
    #白のピクセル数／画像サイズ
    whitePixels = cv2.countNonZero(thresh)
    whiteAreaRatio = (whitePixels/image_size)

    # 変化量を1.0~0.0で出力
    return whiteAreaRatio

スクリーンショットを取る関数

ScreenShot.py

import numpy as np
import pyautogui as pag
def ScreenShot():
    #スクリーンショット
    img = pag.screenshot()
    #pyautoguiの画像をopencvの画像形式に変換
    img = np.array(img)
    img = img[:,:,::-1].copy()
    return img

画像形式の変換方法は下のページを参考にしました．

全体

main.py

import numpy as np
import cv2
import pyautogui as pag
import time

def main():
    #最後に保存したフレーム
    old_img = ScreenShot()

    count = 0
    while True:
        #現在のフレーム
        img = ScreenShot()

        #変化量計算
        rate = ImageChangeRate(old_img,img)
        print(rate)

        #大きな変化があった場合
        if rate > 0.1:
            #画像を保存
            cv2.imwrite("imgs/"+str(count)+".jpg",img)
            count += 1

            #保存した画像をold_imgに代入
            old_img = img
            print("Screenshot!")

        time.sleep(0.5)


def ImageChangeRate(img1,img2):
    #省略…

def ScreenShot():
    #省略…

if __name__ == "__main__":
    main()

全体としてはこんな感じです．基準値は自分でカスタマイズしてください．
注意点は，前フレームと後フレームを比較するのではなく，最後に保存したフレームと現在のフレームを比較しているという点です．応用版にも対応するため，このような仕様にしています．

応用

ここから先はこだわりたい人向けです．

穴埋め形式のスライドや，アニメーションで変化するタイプのスライドにも対応します．

このようなタイプは大きな変化と小さな変化が交互に起こるので少し複雑です．

基準値をうまく調節しても良いのですが，
低く設定すると，画像が増えすぎてしまう
高く設定すると，取り残しが生まれてしまう
という問題が発生します．

穴埋め形式のように変化のあるスライドは，変化前と変化後だけが保存できるようにしたいです.

画像で説明します．

ポイントは，緑色の部分を確実に保存したいという点です．

「大きな変化が起きたら前フレームと後フレーム両方を保存する」というプログラムにしても良いですが，静止画(変化のないスライド)があった場合同じ画像を二枚保存してしまいます．

そのために，tmp_imgという変数を追加します．

old_img (最後に保存したフレーム)
img (現在のフレーム)
tmp_img (ひとつ前のフレーム)

変数名は適当です．

スライドが切り替わるタイミングで，変化のあるスライドだったかを判定し，そうであった場合は変化後のスライドも保存するようにします．