LINE Notify + ラズパイで自宅から研究室のモニタリングをした話。

はじめに

【この記事で分かること】

• LINE Notifyのインストール方法と簡単な使い方
• ラズパイと専用カメラを用いた顔認識

背景

新型コロナウイルスの拡大に伴い、
日本でもリモートワークを推奨するようになってきた今日この頃。
私の研究室でも緊急措置が取られました。
なんと...研究室に出勤日？が設けられたのです。

2021年5月現在は、無事解除されました。めでたし。
この経験を経て、リモートワークに感銘を受けたボクは、ふと思ったわけです。

• 『研究室に誰が来たか』を自宅から知りたい。
• Slackとか導入すればいいけど、みんなやりたがらないしなぁ…。
• 学生がたくさん来てる時間帯に研究室に行きたくない。

これらの希望を叶えるには、どうすればよいか…

『そうだっ！研究室をモニタリングすればいいのでは！？』

使ってないラズパイもあるし、なんとかなりそう...そう考えたボクは実行に移しました。

実行環境

今回実装にあたって、用いた実行環境・ガジェットは以下の通り。

• RaspberryPi 3 modelB+
• RaspberryPi専用カメラ
• Python ver3.6
• OpenCV ver3.4
• LINE Notify

↑こんな感じでできればいいなぁと考えてました。

実装

1. ラズパイとカメラで顔認識

まずは、ディレクトリの構成から。xmlファイルはOpenCVの該当フォルダから持ってきます。

./ 
 ├ imgs/
 ├ haarcascade_frontalface_alt.xml
 └ people_detected_with_camera.py    

プログラムのソースコードは以下の通り。

from datetime import datetime
import time
import RPi.GPIO as GPIO
import requests

import os
import cv2
import picamera
import picamera.array

SLEEPTIME = 5
PEOPLE_NO = 1
DIR = os.getcwd()

with picamera.PiCamera() as camera:
    with picamera.array.PiRGBArray(camera) as stream:
        camera.resolution=(480, 360)
        camera.framerate=30

        while True:
            camera.capture(stream, 'bgr', use_video_port=True)
            grayimg = cv2.cvtColor(stream.array, cv2.COLOR_BGR2GRAY)
            face_cascade = cv2.CascadeClassifier(os.path.join(DIR, "haarcascade_frontalface_alt.xml"))
            facerect = face_cascade.detectMultiScale(grayimg, scaleFactor=1.2, minNeighbors=2, minSize=(100,100))

            if len(facerect)>0:
                img_name = os.path.join(DIR, ("imgs/people_{}.jpg".format(PEOPLE_NO)))
                cv2.imwrite(img_name, stream.array)
                print("No.{}  send!".format(PEOPLE_NO))
                time.sleep(SLEEPTIME)
                PEOPLE_NO += 1
                #break

            cv2.imshow('camera', stream.array)
            key = cv2.waitKey(1)
            if key & 0xFF == ord('q'):
                print("Finish!")
                break

            stream.seek(0)
            stream.truncate()


cv2.destoryAllWindows()

OpenCVライブラリに同梱のxmlファイルを元に顔認識を行いました。
本当はDeepLearningモデルなど用いた方が精度はいいのでしょうが…。
今回は簡単に実装することがコンセプトなので後回しです。

上のソースコードを実行すると、こんな感じで
ラズパイのディスプレイ上にウィンドウが出力されます。

2. LINE Notifyの導入

つぎにLINE Notifyを導入して、ラズパイで撮影した画像を
自分のLINEアカウントに送信します。

その前に、LINE Notifyに登録しなければなりません。(参考サイトはコチラ)

上記の参考サイトを参照し、順当に進めていただきますと、アクセストークンが発行されます。
これをコピーしておきます。（念のため、メモもしておきましょう。）

ラズパイに戻って顔認識のソースコードを一部追記します。
下記のソースコードのACCESS_TOKENのところに
発行されたアクセストークンを入力します。

def line_notify(img_name):
    payload = {'message' : '人いるよ'}
    headers = {'Authorization' : "Bearer ACCESS_TOKEN"}
    files = {"imageFile":open(img_name,'rb')}
    requests.post('https://notify-api.line.me/api/notify', headers = headers, params = payload, files = files)

line_notify(img_name)

全体のコードがコチラ。

from datetime import datetime
import time
import RPi.GPIO as GPIO
import requests

import os
import cv2
import picamera
import picamera.array

SLEEPTIME = 5
PEOPLE_NO = 1
DIR = os.getcwd()

def line_notify(img_name):
    payload = {'message' : '人いるよ'}
    headers = {'Authorization' : "Bearer ACCESS_TOKEN"}
    files = {"imageFile":open(img_name,'rb')}
    requests.post('https://notify-api.line.me/api/notify', headers = headers, params = payload, files = files)

with picamera.PiCamera() as camera:
    with picamera.array.PiRGBArray(camera) as stream:
        camera.resolution=(480, 360)
        camera.framerate=30

        while True:
            camera.capture(stream, 'bgr', use_video_port=True)
            grayimg = cv2.cvtColor(stream.array, cv2.COLOR_BGR2GRAY)
            face_cascade = cv2.CascadeClassifier(os.path.join(DIR, 'haarcascade_frontalface_alt.xml'))
            facerect = face_cascade.detectMultiScale(grayimg, scaleFactor=1.2, minNeighbors=2, minSize=(100,100))

            if len(facerect)>0:
                img_name = os.path.join(DIR, ("imgs/people_{}.jpg".format(PEOPLE_NO)))
                cv2.imwrite(img_name, stream.array)
                line_notify(img_name)
                print("No.{}  send!".format(PEOPLE_NO))
                time.sleep(SLEEPTIME)
                PEOPLE_NO += 1
                #break

            #cv2.imshow('camera', stream.array)
            key = cv2.waitKey(1)
            if key & 0xFF == ord('q'):
                print("Finish!")
                break

            stream.seek(0)
            stream.truncate()


cv2.destoryAllWindows()

3. 実際に検証！

それでは、ラズパイの前に立ち
LINEに送信されるかの検証をします。

"ピコンッ！"

うん、ちゃんと送信されています。

まずまずといったところでしょうか。
システムは完成したので、一日仕掛けてみて
他の学生もかかるか試してみます。

結果はこんな感じ。

カメラ目線をくれているものは、バッチリ撮れていますね。
また、見切れている画像も多々ありました。

フレームレートや画質に対して調整が必要なようです。

加えて、このように誰もいないのに送信されるケースもありました。

後ろの坂本龍馬さんに反応してしまったようです。
ある意味、ホラーでした。

さいごに

いかがでしたでしょうか？今回は、LINE Notifyとラズパイで自宅からの研究室モニタリングシステムを実装しました。

当初はサーバーを立てて、そちらにデータ蓄積・送信する予定でしたが、よくよく考えたら、外出時にリアルタイムで見れないし、自宅に居たとしても、わざわざPCの前に行かないと確認できないのでは？と思い、急遽LINEに送るシステムにシフトしました。

現状、人が来たことは分かりますが、誰が来たかはボクが判断して初めて分かります。この性質上、自動で出勤簿をつけたり、個人に対するの出勤パターンの解析をするにはまだまだ改良が必要なことが分かりますね。

あと、当システムは双方向受信ではなく、LINE Notify側から一方的に取得画像が送られてくるだけなので、こちら側からアクセスできないのが難点。例えば、『今誰いる？』みたいにメッセージを送ったら、当日登校している学生のリストを送信してくれるとか、こういうのができないわけです。

また、認識精度の問題にも難点が見られたので、これは早急に改良する必要がありそう…。

というわけで、今回はこのあたりでお開きとしたいです。
それでは、よいAIライフを～(^^)/

追伸

まずは坂本さんのような誤検出を減らしたかったので、(夜にずっと送られてくる…( ﾟДﾟ)ﾋｴｯ
取り合えず人感センサーを取り付けて、誤検出を少なくしました。