【三菱電機】の特許技術を「推理」する

先日、驚くべきニュースが飛び込んできました。

教師データ不要でAIが工場での作業者の手順の違いや無駄な動作を検出 https://t.co/rKYmyzqNxn pic.twitter.com/8DlgZRro05

— MarvinNewsJP (@MarvinNewsJP) 2019年2月18日

これは正に自分がやろうとしていたことで、「先を越された！」という
のが正直なところです。自分でも、実験的にこんなことをしていました。

三菱電機では、特許出願中とのことで、特許公開がいつになるのか
分かりませんが、ここでは、その技術を「推理」してみようと思います。

特許技術の凄いところ

＜この技術の概要＞

• 作業者の手に色付きのバンドを付けて、ステレオカメラでその座標を取得する。
• その座標から、組立作業などの異常検知が可能となる。
• さらに、異常検知だけではなく、作業効率向上のアドバイスもくれる。

＜この技術の凄いところ＞

• 「教師なし学習」であるため、面倒なラベル付けの作業が不要。
• 作業と作業の継ぎ目を指定する必要はない。

凄すぎて言葉が出ません。

というのも、自分がやろうとしていたことは「教師あり学習」で
かつ、作業の継ぎ目が存在しない「単一の作業」を題材にする予定でした。

ちなみに、畳み込みニューラルネットワークを使った作業工程の分類を
やっている論文もあるので、興味ある方はご覧ください。
https://www.mdpi.com/2227-9709/5/2/26

#結論から

結論からいうと、ベイズ最適化を使えば、教師なし学習で異常検知はできそうです。
しかも、作業の継ぎ目を指定する必要はありません。

ただ、アドバイスの提示はどういうアルゴリズムなのか、実際に見てみないと
推理することは難しいです。

#問題設定
三菱電機の資料によると、手の座標を監視することで異常検知しています。

今回は、簡易的に右手のx座標（1次元の波形）があったとして、それを
監視することで異常検知します。

以下に「学習データ」、1工程だけの時間が長い「正常データ」、
工程が一つ多い「異常データ」を示します。

これだけだと、何が異常が分からないので、意味ある形で4分割してみます。

色別で比較すると、分かりやすくなります。
明らかに、青で囲った部分が異常です。

#異常検知手法
時系列データの異常検知は、K近傍法を使う手法や特異スペクトル変換法等、
色々ありますが、今回の異常検知は波形に切れ目を入れ、分割する手法を使います。

分割する理由として、各工程では作業者によって作業時間にばらつきが生じるため、
各工程で波形が伸縮します。従って、切れ目を入れ各工程に分割し、そこで伸縮を
考慮した異常検知が必要になってきます。

具体的に、さきほどの図で説明します。

正常データの赤の部分は、学習データの赤と比べて長くなっていますが、
問題なく作業が行われているように思えます。

一方、異常データの青の部分は、明らかに余計な工程が入っており、
異常と認識してほしいところです。

上図のようにうまく分割できれば、波形を伸縮させ同じ長さにした上で
異常度を計算すれば異常検知できそうです。

波形の類似度を見る場合、DTWが良く用いられますが、今回は
コサイン類似度を使います。

そして、OpenCVの機能で波形を同じ長さにして、異常度を計算します。

import cv2
import numpy as np

def cos_sim(train, test):
    test = cv2.resize(test, (1,len(train)))
    return np.dot(train, test) / (np.linalg.norm(train) * np.linalg.norm(test))

#ベイズ最適化
ここまでは、三菱電機の資料を見れば何となく推理できます。
問題は、「どうやって切れ目を入れるのか？」ということです。

畳み込みニューラルネットワークを使えれば良いなぁと思ったのですが、
私の脳みそでは力不足でした。代わりにベイズ最適化を使います

ベイズ最適化はこちらを見ていただければ、イメージは分かるかと思います。

ベイズ最適化とは、ある関数でパラメータがあったとして、パラメータをいじると
出力が変化するとします。そして、出力が最小（もしくは最大）になるように
パラメータを良い感じに探してくれるものです。

上の動画はパラメータ（x）に対し、yの出力値が最小(y=0)となる点を探す様子です。
青い点は事前に与えられた情報、赤い点は実際に探索した点を示しています。
わずか5回探索するだけで、最小値を見つけることができました。

今回の問題では、切れ目を入れる場所をベイズ最適化で見つけます。
そして、コサイン類似度で分割した波形同士を比較し、その類似度の
平均値が高くなるように分割する位置を探索します。

#実験

コード全体はgithubに置きました。
Colaboratoryで実行可能です。

さきほどのデータを使ってベイズ最適化で切れ目を探索させました。
そして、コサイン類似度で計算した結果を以下に示します。

正常データでは、コサイン類似度が0.98以上となり正常と認識することができました。
一方、異常データでは異常部分のコサイン類似度が0.35と低くなっており、異常を
検出することができそうです。

#最後に
今回の推理は当たっていれば、そして、三菱電機の特許が認可されれば
特許でカバーされてしまうため、無断で使うことはできません。

しかし、外れていれば、本稿で紹介した内容は特許を気にすることなく
使える可能性があります。今後も特許に注目していきたいと思います。

次回はhandtrackingを使って、実際に本技術を使ってみます。