OpenCVで人数カウント 前編

人数カウント。。。？

巷のマーケティングの記事などを読むと「店舗の状態を把握するには、何かを購入した人数だけではなく、売り場やROIの人数を時間帯などで把握することが重要」なんて書かれていたりします。では、人数カウントってどうやってやるのがいいのか？？なんて記事もあったりしますが、概ね以下のようなものでやることが多いようです。

• 赤外線（ブレイクビーム）
• サーマル
• レーザー
• 超音波
• 人手によるカウント（イベント時等）

このように色々と方法はあるものの、意外と精度の問題、例えば赤外線の場合入り口のある程度の高さに水平に装置が設置される、線が途切れる回数をカウントすることで人数を把握していますが、並列に同時に人間が通れば当然一人分しかカウントされません。またレーザーやサーマルのように天井から床に向けて設置する機材もありますが精度は高いけど高価であったり、なかなか安定しないものもあります。
そういった中で最近注目されているのが「IPカメラ等による人数カウント」です。BOSCHやMOBOTIXのカメラのようにカメラ自体に人数カウントを行なう機能がある場合にはカメラだけでも大丈夫ですが、一般的なIPカメラやUSBカメラの場合には、カメラから送られてきた画像から人数を読み取るアプリケーションが必要になります。こういったアプリケーションは当然非常に高度なものになるので、普通の人が1から作れるものではありません。そこで現在世界中で広く使用されている画像認識のソフトウェアとして、OpenCVが有名になっております。

OpenCVの使い方

OpenCVは元々Cで書かれており、しばらくC言語でのみ実装が可能でした。これも中々敷居が高いため利用する方もそれなりの方が多かったのですが、Pythonをサポートするようになったことで、世界的にも爆発的に利用者が増えました。今回ご紹介する環境は、

• Windows 10 (64bit)
• Anaconda3
• Python 2.7（Anacondaのenvとして登録）
• condaでのOpenCV 3.1のインストールを行ったもの

で実行しています。
ここでは詳細を述べませんが、基本的な動作要件を満たしていれば、下記コードは動くのではと思います。

コードを公開した理由

OpenCVによる人数カウント、という言葉でGoogleやら色々な検索エンジンを検索すると、ヒントは出てくるもののコードそのものには中々当たりません。私も相当数調べたのですが、結局そこに該当するものには当たりませんでした。今回私が作成したコードも素人が短い時間で作成した、あまり役に立たないものかもしれませんが、これでOpenCVでの人数カウント人口が増え、ひいてはこのコードを改良してくれる奇特な方がいたら、なおラッキーということが理由です。もし「こうしたら良くなる」とか「そもそもこうしたほうがいい」なんていうコメントを頂けると、非常に嬉しいです。

今回のコード

今回は以下のコード一本で作成しております。
人数データをどこかに書き込むとかそういう高尚な機能は無く、とりあえず画面に表示する仕組みにしております。
コード上は静的な動画ファイルを読み取ってカウントすることにしていますが、実際はカメラのMP4のRTSPソースからでも実行できますし、やっていませんがUSBカメラでも実行できるはずです。静的な動画を読み取る行の直下にストリーム読み取りの行があるので、そちらを使用して下さい。

使い方

上記で動画ファイルやソースを適宜変更して、

python 02.CV31+fC+TR+RC+CP.py

と実行することで（ファイル名はなんでもいいですが）実行されます。
まず初期化されると人数カウントを行なう場所にマウスで線を引く必要がありますので、カウントしたい開始場所をクリックし、そのままボタンを押しっぱなしにして、終了場所までドラッグしてください。
線は何本でも引けますので、必要数引いたら「ESC」キーを押下し、実行して下さい。

コード

02.CV31+fC+TR+RC+CP.py

import numpy as np
import cv2

#cap = cv2.VideoCapture('D:\\Work_Documents\\sandbox\\OpenCV\\with_EEN\\viaVLC\\EN-CDUM-002a+2016-08-29+14-38-40.mp4') #Open video file
cap = cv2.VideoCapture('C:\\Work_Documents\\sandbox\\OpenCV\\with_EEN\\viaVLC\\camera0490_02.mp4')
#cap = cv2.VideoCapture('http://127.0.0.1:8080')

fps = 15 #int(cap.get(5)+4)
print 'Current FPS is ' + str(fps)
#cv2.ocl.setUseOpenCL(False)
fgbg = cv2.createBackgroundSubtractorKNN(detectShadows = True) #Create the background substractor

# initialize var and windows
itr = 0
crossed = 0
font = cv2.FONT_HERSHEY_SIMPLEX
old_center = np.empty((0,2), float)
'''
cv2.namedWindow("Frame", cv2.WINDOW_KEEPRATIO | cv2.WINDOW_NORMAL)
cv2.namedWindow("Background Substraction", cv2.WINDOW_KEEPRATIO | cv2.WINDOW_NORMAL)
cv2.namedWindow("Contours", cv2.WINDOW_KEEPRATIO | cv2.WINDOW_NORMAL)
'''

# define functions
def padding_position(x, y, w, h, p):
    return x - p, y - p, w + p * 2, h + p * 2

# find a nearest neighbour point
def serchNN(p0, ps):
    L = np.array([])
    for i in xrange(ps.shape[0]):
        L = np.append(L,np.linalg.norm(ps[i]-p0))
    return ps[np.argmin(L)]

# check intersect 2 lines
def isIntersect(ap1, ap2, bp1, bp2):
    calc1 = ((ap1[0] - ap2[0]) * (bp1[1] - ap1[1]) + (ap1[1] - ap2[1]) * (ap1[0] - bp1[0])) * ((ap1[0] - ap2[0]) * (bp2[1] - ap1[1]) + (ap1[1] - ap2[1]) * (ap1[0] - bp2[0]))
    calc2 = ((bp1[0] - bp2[0]) * (ap1[1] - bp1[1]) + (bp1[1] - bp2[1]) * (bp1[0] - ap1[0])) * ((bp1[0] - bp2[0]) * (ap2[1] - bp1[1]) + (bp1[1] - bp2[1]) * (bp1[0] - ap2[0]))
    if (calc1 < 0):
        if (calc2 < 0):
            return True
    return False

# apply convexHull to the contour
def convHull(cnt):
    epsilon = 0.1*cv2.arcLength(cnt, True)
    approx = cv2.approxPolyDP(cnt, epsilon, True)
    hull = cv2.convexHull(cnt, returnPoints = True)
    return hull

# detect a centroid from a coutour
def centroidPL(cnt):
    M = cv2.moments(cnt)
    cx = int(M['m10']/M['m00'])
    cy = int(M['m01']/M['m00'])
    return cx,cy

# display 1st frame and set counting line
ret, img = cap.read()
img = cv2.putText(img, 'Please draw a line with drug the mouse.', (img.shape[1]/2-300, img.shape[0]/2), font, 1, (0,0,255), 2, cv2.LINE_AA)
img = cv2.putText(img, 'Finish the draw, press ESC. \n Retry, press "r".', (img.shape[1]/2-300, img.shape[0]/2+40), font, 1, (0,0,255), 2, cv2.LINE_AA)
img = cv2.putText(img, 'Retry, press "r".', (img.shape[1]/2-300, img.shape[0]/2+80), font, 1, (0,0,255), 2, cv2.LINE_AA)
img = cv2.resize(img, (img.shape[1]/2, img.shape[0]/2))
imgr = img.copy()
sx,sy = -1,-1
ex,ey = -1,-1

def draw_line(event,x,y,flags,param):
    global sx,sy,ex,ey

    if event == cv2.EVENT_LBUTTONDOWN:
        sx,sy = x,y

    elif event == cv2.EVENT_LBUTTONUP:
        cv2.line(img,(sx,sy),(x,y),(255,0,0), 2)
        ex,ey = x,y

cv2.namedWindow('Draw_Line')
cv2.setMouseCallback('Draw_Line',draw_line)

while(1):
    cv2.imshow('Draw_Line',img)
    k = cv2.waitKey(20) & 0xFF
    if k == 27:
        break
    elif k == ord('r'):
        img = imgr.copy()
        continue

cv2.destroyAllWindows()

# initialize line
lp0 = (sx, sy)
lp1 = (ex, ey)
nlp0 = np.array([lp0[0], lp0[1]], float)
nlp1 = np.array([lp1[0], lp1[1]], float)

while(cap.isOpened()):
    try:
        ret, o_frame = cap.read() #read a frame
        frame = cv2.resize(o_frame, (o_frame.shape[1]/2, o_frame.shape[0]/2))

        #Use the substractor
        fgmask = fgbg.apply(frame) 
        fgmask_o = fgmask.copy()

        fgmask = cv2.threshold(fgmask, 244, 255, cv2.THRESH_BINARY)[1]
        kernel = np.ones((5,5), np.uint8)
#        fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_CLOSE, kernel)
        fgmask = cv2.dilate(fgmask, cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3,3)), iterations = 2)

        im2, contours, hierarchy = cv2.findContours(fgmask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)

        # initialize var iteration
        new_center = np.empty((0,2), float)

        for c in contours:

            if (itr % fps == 0):
                continue

            # calc the area
            cArea = cv2.contourArea(c)
            if cArea < 300: # if 1280x960 set to 50000, 640x480 set to 12500
                continue

            # apply the convex hull 
            c = convHull(c)

            # rectangle area
            x, y, w, h = cv2.boundingRect(c)
            x, y, w, h = padding_position(x, y, w, h, 5)

            # center point
            cx, cy = centroidPL(c)
            new_point = np.array([cx, cy], float)
            new_center = np.append(new_center, np.array([[cx, cy]]), axis=0)

            if (old_center.size > 1):
                #print cArea and new center point
                print 'Loop: ' + str(itr) + '   Coutours #: ' + str(len(contours))
                print 'New Center :' + str(cx) + ',' + str(cy)
                #print 'New Center :' + str(new_center)

                # calicurate nearest old center point
                old_point_t = serchNN(new_point, old_center)

                # check the old center point in the counding box
                if (cv2.pointPolygonTest(c, (old_point_t[0], old_point_t[1]), True) > 0):
                    old_point = old_point_t
                    print 'Old Center :' + str(int(old_point[0])) + ',' + str(int(old_point[1]))

                    # put line between old_center to new_center
                    cv2.line(frame, (int(old_point[0]), int(old_point[1])), (cx, cy), (0,0,255), 2)

                    # cross line check
                    if (isIntersect(nlp0, nlp1, old_point, new_point)):
                        print 'Crossing!'
                        crossed += 1


            # put floating text
            cv2.putText(frame, 'CA:' + str(cArea)[0:-2] , (x+10, y+20), font, 0.5, (255,255,255), 1, cv2.LINE_AA)

            # draw center
            cv2.circle(frame,(cx,cy),5,(0,0,255),-1)

            # draw rectangle or contour
            cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 3)  #rectangle contour
#            cv2.drawContours(frame, [c], 0, (0,255,0), 2)
#            cv2.polylines(frame, [c], True, (0,255,0), 2)

        # put fixed text, line and show images
        cv2.putText(frame, 'Crossing:' + str(crossed), ((o_frame.shape[1]/3), 30), font, 1, (255,255,255), 1, cv2.LINE_AA)
        cv2.line(frame, (lp0), (lp1), (255,0,0), 2)
        cv2.imshow('Frame',frame)
        cv2.imshow('Background Substraction',fgmask_o)
        cv2.imshow('Contours',fgmask)

        # increase var number and renew center array
        old_center = new_center
        itr += 1

    except:
        #if there are no more frames to show...
        print('EOF')
        break

    #Abort and exit with 'Q' or ESC
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cap.release() #release video file
cv2.destroyAllWindows() #close all openCV windows

コードの解説

後編でコードの解説を行いますので、しばしお待ち下さい。