Raspberry Pi 5向けにリリースされているHailoのAI Kitですが、実はx86_64環境もサポートしているようです。またHailo上で実行するHEF形式のファイル（アクセラレータの挙動を決めるプログラム）の生成も、x86_64上で変換するのだとか。そこで今回は、Raspberry Pi 5抜きでRaspberry Pi AI Kitをx86_64上のUbuntu22.04から使う手順 をまとめてみました（Ubuntu24.04はサポート外のようです）。
Ubuntu24.04でも動作したため、記事のタイトルを「Raspberry Pi 5無しでRaspberry Pi AI Kit をx86_64 Ubuntu 22.04 LTS上で遊ぶ」から「Raspberry Pi 5無しでRaspberry Pi AI Kit をx86_64 Ubuntu上で遊ぶ」に変更しました（GPUドライバはnvidia-driver-550を選択しました）
ハードウェア構成
まずPCの電源を切った状態で、Raspberry Pi AI Kitから取り外したHailo8Lボードをx86_64 PCのマザーボードにあるM.2(PCIe Gen3以降 x1以上)のソケットに挿入します。また GPUリソースとしてRTX3060Ti を搭載しました。なお、Ubuntu22.04のインストーラがRTX3060Tiを認識しなかったため、以降の手順の「OSのインストール」の間はオンボードのHDMI出力を利用しました。
今回利用した機材とOS
Core i7-6700 RAM32GB + 1TB NVMe
Ubuntu Desktop 22.04.1 LTS
Raspberry Pi 5 に対応したAI Kit + M.2搭載用ネジ
OSのインストール
Ubuntu24.04を選びたかったのですが、HailoがサポートするOSはUbuntu22.04までとのことだったので Ubuntu22.04をインストール しました。OSインストール後は、以下の手順で環境をセットアップします。
# パッケージの一覧を取得
$ sudo apt update
# パッケージをすべて更新
$ sudo apt upgrade
# 再起動
$ sudo reboot
# sudoコマンドをパスワードレスで実行できるようにする
### -->> shino ALL=(ALL:ALL) NOPASSWD: ALL を末尾に追加
$ sudo vi /etc/sudoers
# sshサーバをインストールする
$ sudo apt install openssh-server
# リモートログインできるようにする
# ... 起動時にサービスが開始されるように設定する
$ sudo systemctl start ssh
$ sudo systemctl enable ssh
# sshに公開鍵でログインできるようにする
$ mkdir ~/.ssh
$ touch ~/.ssh/authorized_keys
$ chmod 0700 ~/.ssh
$ chmod 0640 ~/.ssh/authorized_keys
### -->> 必要なら公開鍵を書き込む
# 汎用グラフィックドライバを無効化する
# 新規ファイルを作成し、無効化設定を記述する
### 無効化してからRTX3060Tiを接続
$ sudo vi /etc/modprobe.d/blacklist-nouveau.conf
blacklist nouveau
options nouveau modeset=0
# 保存したらinitramfsを更新して再起動
$ sudo update-initramfs -u
$ sudo reboot
GPUリソースをセットアップする
最初にGPU周りのセットアップをしていきましょう。
GPUのドライバをインストールする
汎用グラフィックドライバを無効化することで、Ubuntu22.04＋RTX3060TiでもHDMI出力ができるようになります。ここでGPUを搭載し、以下の手順でGPUのドライバをインストールしましょう。
# グラフィクス関連のドライバをすべて削除
$ sudo apt --purge remove -y nvidia-*
$ sudo apt --purge remove -y cuda-*
$ sudo apt --purge remove -y libcudnn*
$ sudo apt --purge remove -y cudnn-*
# GPUを確認する
$ lspci | grep -i vga
# 01:00.0 VGA compatible controller: NVIDIA Corporation GA104 [GeForce RTX 3060 Ti Lite Hash Rate] (rev a1)
# グラフィックドライバが格納されているレポジトリを登録
$ sudo add-apt-repository ppa:graphics-drivers/ppa
# パッケージ一覧を更新
$ sudo apt update
# グラフィックドライバのリストを確認する
$ ubuntu-drivers devices
# == /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
# modalias : pci:v000010DEd00002489sv00001462sd00008D9Bbc03sc00i00
# vendor : NVIDIA Corporation
# model : GA104 [GeForce RTX 3060 Ti Lite Hash Rate]
# driver : nvidia-driver-545-open - distro non-free
# driver : nvidia-driver-535 - distro non-free
# driver : nvidia-driver-535-server-open - distro non-free
# driver : nvidia-driver-555 - third-party non-free
# driver : nvidia-driver-550-open - third-party non-free
# driver : nvidia-driver-555-open - third-party non-free
# driver : nvidia-driver-545 - distro non-free
# driver : nvidia-driver-470-server - distro non-free
# driver : nvidia-driver-535-server - distro non-free
# driver : nvidia-driver-535-open - distro non-free
# driver : nvidia-driver-560 - third-party non-free recommended
# driver : nvidia-driver-470 - distro non-free
# driver : nvidia-driver-560-open - third-party non-free
# driver : nvidia-driver-550 - third-party non-free
# driver : xserver-xorg-video-nouveau - distro free builtin
# リストの対象外だがHailo開発環境が525までしかサポートしていないので
# nvidia-driver-525をインストールする
$ sudo apt install -y nvidia-driver-525
$ sudo reboot
# nvidia-smiでGPUが認識されていることを確認する
$ nvidia-smi
# Sat Dec 7 19:11:27 2024
# +---------------------------------------------------------------------------------------+
# | NVIDIA-SMI 535.183.01 Driver Version: 535.183.01 CUDA Version: 12.2 |
# |-----------------------------------------+----------------------+----------------------+
# | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
# | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
# | | | MIG M. |
# |=========================================+======================+======================|
# | 0 NVIDIA GeForce RTX 3060 Ti Off | 00000000:01:00.0 On | N/A |
# | 37% 34C P8 13W / 200W | 315MiB / 8192MiB | 0% Default |
# | | | N/A |
# +-----------------------------------------+----------------------+----------------------+
#
# +---------------------------------------------------------------------------------------+
# | Processes: |
# | GPU GI CI PID Type Process name GPU Memory |
# | ID ID Usage |
# |=======================================================================================|
# | 0 N/A N/A 972 G /usr/lib/xorg/Xorg 175MiB |
# | 0 N/A N/A 1179 G /usr/bin/gnome-shell 134MiB |
# +---------------------------------------------------------------------------------------+
参考にさせていただきました記事
CUDAとcuDNNのインストール
CUDA ToolkitのサイトよりPCの構成を選択し、インストール用のコマンドを確認します。今回は 「Linux」->「x86_64」->「Ubuntu」->「22.04」->「deb(local)」 を選択し、以降のコマンドによりCUDAをインストールしました。
# 公式サイトの手順に従ってインストールする
$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
$ sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
$ wget https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda-repo-ubuntu2204-12-6-local_12.6.3-560.35.05-1_amd64.deb
$ sudo dpkg -i cuda-repo-ubuntu2204-12-6-local_12.6.3-560.35.05-1_amd64.deb
$ sudo cp /var/cuda-repo-ubuntu2204-12-6-local/cuda-*-keyring.gpg /usr/share/keyrings/
$ sudo apt-get update
$ sudo apt-get -y install cuda-toolkit-12-6
# ツールにパスを通す
$ vi ~/.bashrc
# 最後の行に下記の2行を追加する
export PATH="/usr/local/cuda/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"
# 設定した環境変数を反映させる
$ source ~/.bashrc
# 開発ツールのバージョンを確認する
$ nvcc -V
# nvcc: NVIDIA (R) Cuda compiler driver
# Copyright (c) 2005-2024 NVIDIA Corporation
# Built on Tue_Oct_29_23:50:19_PDT_2024
# Cuda compilation tools, release 12.6, V12.6.85
# Build cuda_12.6.r12.6/compiler.35059454_0
# 最後に再起動する
$ sudo reboot
同様の手順でcuDNNもインストールします。 「Linux」->「x86_64」->「Ubuntu」->「22.04」->「deb(local)」 を選択しcuDNNをインストールしました。
# 公式サイトの手順に従ってインストールする
$ wget https://developer.download.nvidia.com/compute/cudnn/9.6.0/local_installers/cudnn-local-repo-ubuntu2204-9.6.0_1.0-1_amd64.deb
$ sudo dpkg -i cudnn-local-repo-ubuntu2204-9.6.0_1.0-1_amd64.deb
$ sudo cp /var/cudnn-local-repo-ubuntu2204-9.6.0/cudnn-*-keyring.gpg /usr/share/keyrings/
$ sudo apt-get update
$ sudo apt-get -y install cudnn
$ sudo apt-get -y install cudnn-cuda-12
# 最後に再起動する
$ sudo reboot
参考にさせていただきました記事
Docker環境のセットアップ
続いてDockerのセットアップを進めていきます。
Dockerのインストール
Dockerを公式ドキュメントに従ってインストールします。今回は 「Install using the apt repository」 のコマンドを参考にしました。
# Set up Docker's apt repository.
$ sudo apt-get update
$ sudo apt-get install ca-certificates curl
$ sudo install -m 0755 -d /etc/apt/keyrings
$ sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
$ sudo chmod a+r /etc/apt/keyrings/docker.asc
# Add the repository to Apt sources:
$ echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
$ sudo apt-get update
# Install the Docker packages.
$ sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
# Verify that the installation is successful by running the hello-world image
$ sudo docker run --rm hello-world
# sudo無しでもdockerを操作できるようユーザーに権限を与える
$ sudo usermod -aG docker $USER
$ sudo reboot
# Dockerコマンドをsudo無しで実行できることを確認する
$ docker image ls
# REPOSITORY TAG IMAGE ID CREATED SIZE
# hello-world latest d2c94e258dcb 19 months ago 13.3kB
$ docker image rm hello-world
$ docker image ls
# REPOSITORY TAG IMAGE ID CREATED SIZE
参考にさせていただきました記事
NVIDIA-dockerのインストール
Hailo開発環境が nvidia-docker2 を必要としていますが、公式リポジトリを参照するとThis project has been superseded by the NVIDIA Container Toolkit. とされているので、下記の手順を参考にNVIDIA Container Toolkitをインストールします。
参考にさせていただきました記事
# NVIDIA Container Toolkitが格納されたリポジトリをシステムに追加する
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
# NVIDIA Container Toolkitをインストールする
$ sudo apt-get update
$ sudo apt-get install -y nvidia-container-toolkit
# コンテナのランタイムがDockerであることを登録する
$ sudo nvidia-ctk runtime configure --runtime=docker
# INFO[0000] Config file does not exist; using empty config
# INFO[0000] Wrote updated config to /etc/docker/daemon.json
# INFO[0000] It is recommended that docker daemon be restarted.
$ sudo systemctl restart docker
# GPUが見えなくなる問題の対策
# -->> https://qiita.com/tttamaki/items/4f369633b7f53f5131a1
$ sudo vi /etc/docker/daemon.json
{
"runtimes": {
"nvidia": {
"args": [],
"path": "nvidia-container-runtime"
}
},
"exec-opts": ["native.cgroupdriver=cgroupfs"]
}
$ sudo systemctl restart docker
$ docker info | grep Cgroup
# Cgroup Driver: cgroupfs
# Cgroup Version: 2
# Dockerコンテナ内からGPUにアクセスできることを確認する
$ docker run --rm --gpus all pytorch/pytorch:2.5.1-cuda12.4-cudnn9-devel nvidia-smi
# Sat Dec 7 11:03:16 2024
# +------------------------------------------------------------------------------- --------+
# | NVIDIA-SMI 535.183.01 Driver Version: 535.183.01 CUDA Version: 1 2.4 |
# |-----------------------------------------+----------------------+-------------- --------+
# | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Unco rr. ECC |
# | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Com pute M. |
# | | | MIG M. |
# |=========================================+======================+============== ========|
# | 0 NVIDIA GeForce RTX 3060 Ti Off | 00000000:01:00.0 Off | N/A |
# | 37% 30C P8 9W / 200W | 284MiB / 8192MiB | 0% Default |
# | | | N/A |
# +-----------------------------------------+----------------------+-------------- --------+
#
# +------------------------------------------------------------------------------- --------+
# | Processes: |
# | GPU GI CI PID Type Process name GPU Memory |
# | ID ID Usa ge |
# |=============================================================================== ========|
# +------------------------------------------------------------------------------- --------+
HAILO開発リソースのセットアップ
以上でHailo8Lの開発に必要な下準備は整いましたので、Hailo8Lを開発するためのセットアップをはじめていきましょう。Hailo8L関連のソフトウェアは「hailo.ai/developer-zone/software-downloads/」より入手することができます。ユーザー登録が必要となりますので、ログイン用のメールアドレスをご準備ください。
「AI Software Suite」->「AI Software Suite」->「x86」->「Linux」->「Python Version 3.8」 を選択し 「Hailo AI Software Suite - Docker」 と 「HailoRT - PCIe driver Ubuntu package(deb)」 をダウンロードします。
Hailo8L向けPCIeドライバのインストール
Ubuntu22.04の場合、Hailo8Lのドライバが既にインストールされているようで、lspciでデバイス名を確認することができます。ただ、念のため、公式からダウンロードした最新のデバイスドライバをインストールしておきます。
# デバイスを認識できているか確認する
$ lspci | grep Co-processor
# 02:00.0 Co-processor: Hailo Technologies Ltd. Hailo-8 AI Processor (rev 01)
# Installation of the PCIe Driver Only を参照
# ダウンロードしたHailoRT - PCIe driver Ubuntu package(deb)を
# ~/ に格納した上で、下記のコマンドを実行
$ cd ~/
$ ls hailo*
# hailo_ai_sw_suite_2024-10_docker.zip
# hailort-pcie-driver_4.19.0_all.deb
$ sudo dpkg --install hailort-pcie-driver_4.19.0_all.deb
# ...
# Do you wish to use DKMS? [Y/n]: Y
# ...
# Please reboot your computer for the installation to take effect.
# 再起動
$ sudo reboot
# デバイスを認識できているか確認する
$ lspci | grep Co-processor
# 02:00.0 Co-processor: Hailo Technologies Ltd. Hailo-8 AI Processor (rev 01)
Dockerベースの開発環境のインストール
次にダウンロードした 「Hailo AI Software Suite - Docker」 をインストールします。ダウンロードしたファイルを ~/ に格納した上で、GUIのターミナルから 下記のコマンドを実行します。
# ファイルの確認
$ cd ~
$ ls hailo_ai_sw_suite*
# hailo_ai_sw_suite_2024-10_docker.zip
# 作業ディレクトリを作成
$ mkdir -p ~/hailo_devel_work
$ cd ~/hailo_devel_work
# 解凍する
$ unzip ~/hailo_ai_sw_suite_2024-10_docker.zip
# Archive: /home/shino/hailo_ai_sw_suite_2024-10_docker.zip
# inflating: hailo_ai_sw_suite_2024-10.tar.gz
# inflating: hailo_ai_sw_suite_docker_run.sh
$ ls
# hailo_ai_sw_suite_2024-10.tar.gz
# hailo_ai_sw_suite_docker_run.sh
# コンテナを起動する (GUIのある環境で実行)
# -->> 初回起動は非常に時間がかかります
$ ./hailo_ai_sw_suite_docker_run.sh
# Loading Docker image: /home/shino/hailo_devel_work/hailo_ai_sw_suite_2024-10.tar.gz
# INFO: Checking system requirements...
# INFO: System requirements check finished successfully.
# ...
######
### コンテナ内にログインできます
######
(hailo_virtualenv) /local/workspace $ hailortcli fw-control identify
# Executing on device: 0000:02:00.0
# Identifying board
# Control Protocol Version: 2
# Firmware Version: 4.19.0 (release,app,extended context switch buffer)
# Logger Version: 0
# Board Name: Hailo-8
# Device Architecture: HAILO8L
# Serial Number: HLDDLBB243301301
# Part Number: HM21LB1C2LAE
# Product Name: HAILO-8L AI ACC M.2 B+M KEY MODULE EXT TMP
参考にさせていただきました記事
hefファイルを読み込めることを確認
下記リストから 「Classification」->「Hailo-8L(Link)」->「resnet_v1_18」->「Compiled(download)」 を選択して学習済みモデルを入手し、Hailo8LにHEFを読み込めることを確認します。
下記手順によりHailo8L上でHEFファイルを実行できることを確認することができます。
# 作業ディレクトリ
$ pwd
/local/workspace
# Hailo8L向けのYOLOv8のモデルをダウンロード
$ wget https://hailo-model-zoo.s3.eu-west-2.amazonaws.com/ModelZoo/Compiled/v2.13.0/hailo8l/resnet_v1_18.hef
# HEFファイルをHailo8L上で実行
$ hailortcli run resnet_v1_18.hef
# Running streaming inference (resnet_v1_18.hef):
# Transform data: true
# Type: auto
# Quantized: true
# Network resnet_v1_18/resnet_v1_18: 100% | 4577 | FPS: 914.24 | ETA: 00:00:00
# > Inference result:
# Network group: resnet_v1_18
# Frames count: 4577
# FPS: 914.31
# Send Rate: 1101.03 Mbit/s
# Recv Rate: 7.31 Mbit/s
hef_platformが動作することを確認
続いてPythonコードからHailo8LにHEFファイルを読み込ませることができることを確認します。確認用に下記のPythonコードを用意しました。これはhailo tutorialから一部を変更したものです。hailo tutorial版のソースコードでは配列をnp.emptyで初期化した後にastypeのキャストするのですが、このキャストに失敗することがあるため、配列定義時にnp.uint8を指定するようにしました。
import numpy as np
from hailo_platform import VDevice, HailoSchedulingAlgorithm
timeout_ms = 1000
params = VDevice.create_params()
params.scheduling_algorithm = HailoSchedulingAlgorithm.ROUND_ROBIN
# The vdevice is used as a context manager ("with" statement) to ensure it's released on time.
with VDevice(params) as vdevice:
# Create an infer model from an HEF:
infer_model = vdevice.create_infer_model('./resnet_v1_18.hef')
# Configure the infer model and create bindings for it
with infer_model.configure() as configured_infer_model:
bindings = configured_infer_model.create_bindings()
# Set input and output buffers
buffer = np.empty(infer_model.input().shape, dtype=np.uint8)
bindings.input().set_buffer(buffer)
buffer = np.empty(infer_model.output().shape, dtype=np.uint8)
bindings.output().set_buffer(buffer)
# Run synchronous inference and access the output buffers
configured_infer_model.run([bindings], timeout_ms)
buffer = bindings.output().get_buffer()
# Run asynchronous inference
job = configured_infer_model.run_async([bindings])
job.wait(timeout_ms)
# 作業ディレクトリを作成し移動
### -->> 前手順でダウンロードした resnet_v1_18.hef があること
# スクリプトを実行、エラーが無ければOK
$ python test.py
### 何も表示されずにコマンドの実行に成功すればOK
これでRaspberry Pi 5なしにAI Kitを試すことができます。x86_64環境の方が、Raspberry Pi 5よりもリソースがリッチなので開発が捗りそうですね。