Help us understand the problem. What is going on with this article?

Node-REDでKeiganMotorロボットアームをAI制御し捺印ロボットを作る

概要

 最近、自動ハンコロボットが巷で流行ってますね。実は私流行る前にやってたぞ、ということで11月末にNode-RED LTで発壇した際の自動捺印ロボットアーム、通称「上司要らず」について紹介します。
 働き方改革やワークライフバランス改善が叫ばれる中、時流に逆行するがごとく執拗に蔓延るハンコ文化。
それに乗じ、増加の一途をたどる「ハンコ押すだけ上司」。なんとかこの状況打開できないか?そこで自動でハンコを押す装置製作を思い立ったのです。

参考リンク:
https://japanese.engadget.com/2019/12/17/1-2-2019/

構成

1.装置構成

 実際の位置決め精度を考えればXY軸移動のほうがよさそうですが、水平多関節の方が動きがかっこいいですよね。障害物があっても回り込んで回避してアームを動作させられるなどメリットもあります。

キャプチャ.PNG

1-1アーム

 アーム部にはNode-REDからJSONコマンドを送信することで回転速度や位置、角度指定といった動作を可能とするKeiganMotorを使用しています。なんとBLEでの通信もできるため、スタンプ部をESP32のBluetooth通信としたことでPCとロボットアームは無線通信となっています。
 *概要ではハンコですが、一般ウケも考えてスタンプにしました。

1-2捺印部

 ESP32とサーボSG90を組みあわせて動作させています。ESPとPC(Lattepanda)間の通信をBluetoothシリアル通信し、Node-RED(node-red-contrib-bluetooth-serial-port)で行っています。

2.制御

 Node-REDでアームの動作とスタンプ部の制御を行い、YOLOv3による物体検知や位置認識、その他Node-REDで表現しきれない処理(私の理解度の問題…)はpythonで書き、execノードを使ってNode-RED側に読み込んでいます。
image.png

*Node-REDでKeiganMotorを使用する際の注意点

今回、node-red-contrib-keiganmotorノードを使用しました。公式にRaspberryPi3では動作確認されているのですが、YOLOの推論とアーム制御を同時に行うと、メモリ的にギリギリなため、Lattepandaにubuntu18.04を入れて使用しています。
この際、Node-REDのパレットの管理からnode-red-contrib-keiganmotorノードをinstallすると、nobleもinstallされるのですが、nobleの相性の影響でUSBシリアルがNode-RED上で使用できなくなります。

[(参考)公式ドキュメント]
https://docs.keigan-motor.com/software_dev/node-red/node-red-node

2020年2月現在では、販売されているRaspberryPi4を使用すれば上記注意は気にせずすみます。また、node-red-contrib-keigan-motor-sequencerノードも新たに発表されましたのでこちらを使用する方がよいかと思います。
[公式Node-REDモジュール]
https://docs.keigan-motor.com/archives/4224

2-1 AI判定

 今回の位置検出だけでは、AIを使わなくてもopencvなどで検出することは可能だと思います。しかし後々リアルタイム物体検知などやりたかったので、全く無知だったところから勉強しながらKeras-Yolov3を使って学習モデルを作成し認識させました。

2-2 座標変換

 yolov3で認識したスタンプ欄(写真(2-3下)ではstamp)の位置と、スタンプ部原点(写真ではpush)と原点(写真ではroot)の実寸をあらかじめ測定しておき、pixelの座標から割り出した間隔を実寸に置き換えてます。
 これをsympyを使い、push,root,stampの位置を角度に変換する連立方程式を立式し求解しています。
キャプチャ.JPG

image.png

2-3 画像認識

 スタンプ欄の書かれた紙が傾いている場合、傾きに応じてスタンプ部がひねりを加えてくれないとまっすぐにスタンプを押してくれません。そこで認識したスタンプ欄(stamp)の角度を検出させるため、YOLOv3で認識した部分をトリミングし、角度検出するプログラムをopencvにて作成しました。
(トリミングしたほうが狙った画像であるスタンプ欄を確実に認識できます)

image.png

動作

実際のハンコ紙に押すの忘れて動画撮影してしまいました…

おわりに

 今回、AIに関してほぼ0知識の状態から始めましたが、ネットで調べながら1か月ほどで完成させることができました。
それだけAIに関する文献や記事がオープンになり、浸透してきたということなのだと思います。まだAI画像認識にチャレンジしていない方は意外と簡単なので、ぜひ挑戦してみては!
ご指摘や知りたい情報等あればお気軽にコメント下さい。

参考

keras-yolov3の学習モデル構築 (一部設定に抜けがあるので注意必要ですが、分かりやすいです)
https://sleepless-se.net/2019/06/21/how-to-train-keras%E2%88%92yolo3/

*付録

キャプチャ.JPG

Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
Comments
No comments
Sign up for free and join this conversation.
If you already have a Qiita account
Why do not you register as a user and use Qiita more conveniently?
You need to log in to use this function. Qiita can be used more conveniently after logging in.
You seem to be reading articles frequently this month. Qiita can be used more conveniently after logging in.
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away
ユーザーは見つかりませんでした