はじめに
Seeed studioからK210というKPU(AIアクセラレータ付き)のマイコンボード「Sipeed M1 dock suit」が発売されているので、試してみました。
マイコンボード自体の詳しい説明は公式ドキュメントもありますので省きますが、主に下記のような特徴を持つK210と呼ばれるモジュールにブレークアウトボードをくっつけた基板に、OV2640カメラと2.4インチLCDをセットにしたキットがSipeed M1 dock suitです。
- RISC-V×2で構成されるCPU
- CNNアクセラレータであるKPU
- ハードウェアFFTに対応したAPU
- そのほかGPIO、SPI、I2CなどのIOを持つ
今回はSeeed studioの公式サイトから直輸入で購入しましたが、注文から到着までおよそ2週間でした。ChinaPost経由でボコボコの箱が届きましたが、中身は無事でした笑
技適マークの関係でWiFi無しモデルを選択しましたが、WiFi付きモデルも存在します。
一つ18.9ドルととてもお安いです。
Tiny-yoloを10fps以上の速度で動かせる(後述)モジュールとしては、消費電力や価格の面でコストパフォーマンスが非常に良いのではないでしょうか。TPUやNCSなどのUSBアクセラレータタイプのモジュールと比較しても、シングルボードですべて完結するので楽ちんです。
購入時送料の関係からマイクアレイやステレオカメラ、一回り小さな開発キットを購入しましたので、別の機会に記事を書きたいと思います。
ちなみに単体のマイクを買ってあとから気づきましたが、M1 dockにはマイクが内蔵されていました。
- Sipeed 6+1 Microphone Array for Dock/Go/Bit
- Sipeed I2S Microphone for MAIX Dev. Boards
- Sipeed MAIX Binocular Camera for Dock/Go/Bit
- Sipeed MAix BiT Kit for RISC-V AI+IoT
※こちらの記事を参考にさせていただき、試しています。
https://qiita.com/Ke_N_551/items/55c6442a53ffc0072363
ハードウェアセットアップ
パッケージは下の写真のような物品で構成されています。M5stackの箱によく似た感じ。
ハードウェアのセットアップは、LCDとカメラのフレキケーブルを接続すればおしまい。簡単ですね。フレキケーブルを接続する面に、シリコンマイクやTFカード(microSDカード)スロットが見えます。
同時に購入したMAIX BiT kitと比較すると、モジュール部分がシールドで覆われたものか否か等微妙に構成が異なるようです。
ちなみにケースはThingiverseより拝借しました。が、精度の問題か微妙にはまらないので、そのうち作り直そうと思っています。
ファームウェアの準備
公式の手順に従います。この記事では、Ubuntu16.04で試した内容を記載しています。
USBシリアル接続環境の準備
M1 dockではCH340をUSBシリアル用チップとして使っていますので、ドライバをインストールしておきます。ドライバのインストールがうまくいっていれば、USB接続時に/dev/ttyUSB*で認識されるはずです。参考までに、lsusbの結果を張り付けておきます。
$ lsusb
Bus 001 Device 008: ID 1a86:7523 QinHeng Electronics HL-340 USB-Serial adapter
うまく接続されていれば、青い画面が表示されるはずです。
ファームウェアの焼きこみ
ファームウェア焼きこみ用のツールが用意されていますので、そちらを使えるようにします。
Python3およびpyserialの環境構築を忘れずに。
$ git clone https://github.com/sipeed/kflash.py
続いて、焼きこみ用のファームウェアとサンプルで利用するモデルをダウンロードしておきます。2019年5月11日現在で最新の、v0.3.1の中から
- maixpy_v0.3.1_full.bin
- face_model_at_0x300000.kfpkg
の二つをダウンロードしました。続けて2つのファイルをフラッシュしてあげると、MicroPythonプログラム側からモデルを読み込めるようになります。
下記のように、それぞれ「Rebooting...」まで行けば書き込み完了です。
$ sudo python3 kflash.py -p /dev/ttyUSB0 -b 2000000 -B dan maixpy_v0.3.1_full.bin
[INFO] COM Port Selected Manually: /dev/ttyUSB0
[INFO] Default baudrate is 115200 , later it may be changed to the value you set.
[INFO] Trying to Enter the ISP Mode...
.
[INFO] Greeting Message Detected, Start Downloading ISP
[INFO] CH340 mode
Downloading ISP: |=============================================| 100.0% 10kiB/s
[INFO] Booting From 0x80000000
[INFO] Wait For 0.1 second for ISP to Boot
[INFO] Boot to Flashmode Successfully
[INFO] Selected Baudrate: 2000000
[INFO] Baudrate changed, greeting with ISP again ...
[INFO] Boot to Flashmode Successfully
[INFO] Selected Flash: On-Board
[INFO] Initialization flash Successfully
Programming BIN: |=============================================| 100.0% 67kiB/s
[INFO] Rebooting...
$ sudo python3 kflash.py -p /dev/ttyUSB0 -b 2000000 -B dan face_model_at_0x300000.kfpkg
[INFO] COM Port Selected Manually: /dev/ttyUSB0
[INFO] Default baudrate is 115200 , later it may be changed to the value you set.
[INFO] Trying to Enter the ISP Mode...
.
[INFO] Greeting Message Detected, Start Downloading ISP
[INFO] CH340 mode
Downloading ISP: |=============================================| 100.0% 10kiB/s
[INFO] Booting From 0x80000000
[INFO] Wait For 0.1 second for ISP to Boot
[INFO] Boot to Flashmode Successfully
[INFO] Selected Baudrate: 2000000
[INFO] Baudrate changed, greeting with ISP again ...
[INFO] Boot to Flashmode Successfully
[INFO] Selected Flash: On-Board
[INFO] Initialization flash Successfully
[INFO] Extracting KFPKG ...
[INFO] Writing facedetect.kmodel into 0x00300000
Programming BIN: |=============================================| 100.0% 71kiB/s
[INFO] Rebooting...
サンプルプログラムの実行
シリアル接続すると、MAIXPYというMicroPythonのカスタマイズが動作します。
正しく起動していれば、下記のようにプロンプトが表示されるはずです。うまく表示されない場合は、RSTボタンやCtrl+C入力を試してみると良いでしょう。
[MAIXPY]Pll1:freq:398666666
[MAIXPY]Pll2:freq:45066666
[MAIXPY]cpu:freq:416000000
[MAIXPY]kpu:freq:398666666
[MAIXPY]Flash:0xc8:0x17
heap0=0x801c97b8
[MaixPy] sd_init | SD_CMD0 is FF
__ __ _____ __ __ _____ __ __
| \/ | /\ |_ _| \ \ / / | __ \ \ \ / /
| \ / | / \ | | \ V / | |__) | \ \_/ /
| |\/| | / /\ \ | | > < | ___/ \ /
| | | | / ____ \ _| |_ / . \ | | | |
|_| |_| /_/ \_\ |_____| /_/ \_\ |_| |_|
Official Site : https://www.sipeed.com
Wiki : https://maixpy.sipeed.com
MicroPython v0.3.1 on 2019-04-27; Sipeed_M1 with kendryte-k210
Type "help()" for more information.
>>>
基本的にはPythonと同様にプログラミングできるのですが、利用できるモジュールは下記の通り確認ができます。
>>> help('modules')
KPU fpioa_manager os uhashlib
Maix gc pye_mp uheapq
__main__ hashlib random uio
_boot heapq re ujson
_thread image sensor uos
_webrepl json socket urandom
array lcd struct ure
audio lvgl sys usocket
binascii lvgl_helper time ustruct
board machine touchscreen utime
builtins math ubinascii utimeq
cmath math ucollections uzlib
collections micropython ucryptolib video
cpufreq nes uctypes websocket
errno network uerrno zlib
Plus any modules on the filesystem
プログラムを実行する方法はいくつもありますが、今回はプロンプトから直接コードを入力して実行する方法をとりました。
プロンプト上でCtrl+Eを押すと、コピペモードになりますので、下記のコードを貼り付けて実行しました。コピペ後、Ctrl+Dを押すと即座にプログラムが実行されます。
import sensor
import image
import lcd
import KPU as kpu
import utime
lcd.init()
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
sensor.set_hmirror(0)
sensor.run(1)
task = kpu.load(0x300000) # you need put model(face.kfpkg) in flash at address 0x300000
# task = kpu.load("/sd/face.kmodel")
anchor = (1.889, 2.5245, 2.9465, 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025)
a = kpu.init_yolo2(task, 0.5, 0.3, 5, anchor)
prev_time = utime.ticks_us()
while(True):
img = sensor.snapshot()
code = kpu.run_yolo2(task, img)
if code:
for i in code:
#print(i)
a = img.draw_rectangle(i.rect())
now_time = utime.ticks_us()
print("FPS:" + str(1000000/utime.ticks_diff(now_time, prev_time)) + " Detections:" + str(len(code)))
prev_time = now_time
a = lcd.display(img)
a = kpu.deinit(task)
基本的にはサンプルプログラムをそのまま動かしているのですが、フレームレートを測定するためのコード(7,25,26行目)と画面反転を正すためのコード(11行目)を入れています。
ちなみに、print文の動作が緩慢なので23行目をコメントアウトしています。
余談ですが、OpenMVのポーティングであるimageモジュールやカメラを扱うためのsensorモジュールなど、K210ボード用のライブラリがありますので、ドキュメントを一読されると色々できて楽しいと思います。(NES game emulatorとかライブラリ化されてる…笑)
さて、実際に実行すると下記のようにプロンプト表示がされます。
安定して11FPSを超えていることがわかります。
FPS:11.60375497510995 Detections:6
FPS:11.60564034120583 Detections:6
FPS:11.60725685698699 Detections:6
FPS:11.59864063931707 Detections:6
FPS:11.86718249353239 Detections:5
FPS:11.60510160266453 Detections:5
FPS:11.59272440616269 Detections:5
認識対象は、Googleで「顔」と画像検索させた結果です笑
推論実行時の消費電力は0.24Aでしたので、5V動作で1.2W程度と非常に優秀です。
Ctrl+Cを押すと、プログラムが終了してプロンプトに戻ってきます。
今後
そのうち、下記を試してみたいと思います。
- 他の学習済みモデルの変換と実行
- GPIOの利用
- ステレオカメラモジュールの利用
それでは！