ClojureでKinectをさわってみる

ClojureというとWeb系のお話が多い感じがしますが、ClojureからKinectやAR.Droneを使っている人もいるようですので、今回はClojureからKinectをさわってみたいと思います。

使用ライブラリ

Clojureのライブラリとしては、QuilとBifocalsを使います。BifocalsはOpenNIを利用しているので、OpenNIのインストールも必要です。

Quil

QuilはProcessingのClojureラッパーです。

簡潔なコードで図形を描くことができるなど、グラフィカルな出力を得られます。今回はBifocalsで取得したKinectのデータを描画するのに使用します。

最新バージョンは 1.6.0 です。

project.clj

[quil "1.6.0"]

Bifocals

BifocalsはClojureからKinectを扱うためのライブラリです。

Processingにはsimple-openniという有名なOpenNIのラッパーライブラリがあります。Bifocalsはsimple-openniのラッパーみたいな感じです。

最新バージョンは 0.1.0 です。

project.clj

[bifocals "0.1.0"]

OpenNI

OpenNIは3Dセンサ向けのオープンソースのSDKです。Kinectだけでなく様々な3Dセンサに利用できます。

OpenNIは現在バージョン2系になっていますが、今回の記事では v1.5.2.23 を用いています。BifocalsからOpenNI2が利用できるかは確認していません。

OpenNIのインストール方法はググれば色々と出てくるのでそちらを参照ください。ちなみに、Mac + Homebrew環境であれば、私の作成したhomebrew-openniを使うと簡単です！（ステマ）

Kinectにアクセス

nsにQuilとBifocalsを追加します。

(ns cljac16.core
  (:require [quil.core :refer :all]
            [bifocals.core :as bifocals]))

setup関数とsketchの定義は以下のようにしておきます。

(defn setup []
  (smooth)
  (frame-rate 30))

(defsketch kinect
  :title "Can Haz Kinect!"
  :setup setup
  :draw draw
  :size [640 480])

Depth

距離画像を取得・表示するには、draw関数に以下のように書きます。

(defn draw []
  (background 0)
  (bifocals/tick)
  (image (bifocals/depth-image) 0 0))

draw関数内で必ずbifocals.core/tickを呼ぶ必要があります。tick関数によってKinectのデータが更新されるので、毎フレーム呼び出しています。

bifocals.core/depth-imageは距離画像をProcessingのPImageインスタンスとして返します。quil.core/imageによって距離画像を表示しています。

スケルトントラッキング

(defn- draw-line
  [p1 p2]
  (line (:x p1) (:y p1) (:x p2) (:y p2)))

(defn- draw-skeleton
  [skeleton]
  (let [{:keys [head neck left-shoulder right-shoulder left-elbow right-elbow
                left-hand right-hand torso left-hip right-hip left-knee
                right-knee left-foot right-foot]}
        (bifocals/project-skeleton skeleton)]
    (stroke 30 120 180)
    (stroke-weight 3)
    (draw-line head neck)
    (draw-line neck left-shoulder), (draw-line neck right-shoulder)
    (draw-line left-shoulder left-elbow), (draw-line right-shoulder right-elbow)
    (draw-line left-elbow left-hand), (draw-line right-elbow right-hand)
    (draw-line left-shoulder torso), (draw-line right-shoulder torso)
    (draw-line torso left-hip), (draw-line torso right-hip)
    (draw-line left-hip left-knee), (draw-line right-hip right-knee)
    (draw-line left-knee left-foot), (draw-line right-knee right-foot)))

(defn draw []
  (background 0)
  (bifocals/tick)
  (image (bifocals/depth-image) 0 0)
  (doseq [skeleton (vals @bifocals/skeletons)]
    (draw-skeleton skeleton)))

bifocals.core/skeletonsというatomに画面内に入っている人物のスケルトンデータが入っているので、それを取り出して描画しています。

また、bifocals.core/project-skeleton関数によって、3次元のスケルトン座標を2次元のカメラ座標系に変換しています。

所感

かなり簡単にKinectにアクセスすることができました。今回の記事では距離画像とスケルトン情報の取得だけを紹介しましたが、Bifocalsのexampleでは人の数を検出するやり方なども含まれています。

少し気になる点としては、QuilやBifocalsは最近は更新されていなくて、Processingやsimple-openniに追従できていない気がします。ですがClojureはJavaに簡単にアクセスできるので、Bifocalsを使わなくても、直接OpenNIのJavaバインドを呼び出してもいいかなと思います。

KinectやAR.Drone、Arduinoなどを扱うフィジカル・コンピューティングの世界にもClojureがさらに進出してくれたら良いなと思います。