はじめに

Jetson NanoでCustomVisionのモデルを動かします。
この記事をある程度参考にやっていきます。

環境

JetPack4.4

Jetson Nanoのセットアップ

この記事などを参考にセットアップを済ませましょう。GUIのままでも推論はできたのでCUIに切り替えなくても大丈夫です。

CustomVisionモデルのダウンロード

ここを参考にモデルをエクスポートします。

まずCustomVisionで以下のどれかのドメインで学習します。

学習が終わったらCustomVisionのPerformanceタブ→Exportを押してDockerのLinuxでエクスポート、ダウンロードします。

エクスポートしたモデルのzipファイルをscpなどでNanoに持ってきて展開します。

unzip CustomVision.zip -d customvision

展開したcustomvisionフォルダの中に、DockerFileがあると思います。それを以下のように編集します(python3-opencvいらないかも)。

Dockerfile

FROM nvcr.io/nvidia/l4t-tensorflow:r32.4.4-tf2.3-py3
RUN apt-get update -y
RUN DEBIAN_FRONTEND=noninteractive apt-get install -y python3-opencv
RUN pip3 install flask pillow
COPY app /app
# Expose the port
EXPOSE 80
# Set the working directory
WORKDIR /app
# Run the flask server for the endpoints
CMD python3 -u app.py

Tensorflow2.3が入っているみたいです。ここを参考に、Tensorflow1.15でも入れられそうです。ビルドに思ったより時間はかかりませんでした。

docker build . -t mycustomvision

ビルドができたらコンテナを起動します。

docker run -p 127.0.0.1:80:80 -d mycustomvision

コンテナ一覧を表示すると、起動しているのがわかります。

$ docker ps -a
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                  NAMES
10548014b918        mycustomvision      "/bin/sh -c 'python3…"   2 hours ago         Up 2 hours          127.0.0.1:80->80/tcp   sleepy_elgamal

推論

PythonでPOSTして推論してみます。

inference.py

import json
import requests

file = "./test.png"

with open(file,"rb") as f:
    data = f.read()

url = "http://127.0.0.1/image"
files = {"imageData":data}

response = requests.post(url,files=files)
results = json.loads(response.content)
print(results)

↓結果

$ python3 inference.py
{'created': '2020-11-05T14:58:32.073106', 'id': '', 'iteration': '', 'predictions': [{'boundingBox': {'height': 0.16035638, 'left': 0.738249, 'top': 0.41299437, 'width': 0.05781723}, 'probability': 0.91550273, 'tagId': 0, 'tagName': '1'}], 'project': ''}

ちゃんと結果が得られました。

おわりに

お疲れさまでした。
もともとのDockerfileではTensorflow2.0.0が指定されていましたが、2.3.0でも大丈夫なのかどうかはわかりません。とりあえず正しそうに推論ができているのでよしとします。

間違い等ありましたらご指摘よろしくお願いします。