Raspberry Pi 5からPCIeのデバイスを接続できるようになり、AI Kitというハードウェアアクセラレータが利用可能となりました。今回はRaspberry Pi 5の初期設定から、AI Kitのサンプルプログラムを利用した推論までの手順をまとめました。

今回購入した機材

今回、Raspberry Pi 5を触るにあたって、下記の機材を購入しました。

Raspberry Pi 5 本体、ヒートシンク、ACアダプタ、HDMIケーブル

Raspberry Pi 5 に対応したAI Kit

IMX219を搭載した広角(160°)カメラ

Raspberry Pi 5 をセットアップする

OSを起動用microSDカードにインストールする

Raspberry Pi 5へのOSインストール方法は下記を参考に進めていきます。

デバイスとOSを選択する

今回のターゲットはRaspberry Pi 5なので、デバイス選択で「Raspberry Pi 5」を指定して、OSには「Raspberry Pi OS」を、インストール先となるmicroSDカードを選択します。ここで指定したmicroSDカード（ストレージ）はすべて消去されますので、誤った選択をしないよう、注意しましょう。

インストールするOSの設定を行う

新しいRaspberry Pi Imagerでは、インストールするOSの設定をOS起動前に設定しておくことができます。設定できる内容は以下の通りです。

ホスト名
ユーザー名とパスワード
Wi-Fiのアクセスポイント名とWi-Fiの地域
タイムゾーンと言語の選択
リモートログイン(ssh)の設定

microSDカードにOSを書き込む

設定したRaspberry Pi OSをmicroSDカードへインストールします。

Raspberry Piを起動する

microSDカードを挿入し、電源ボタンを押すとRaspberry Pi 5上でRaspberry Pi OS(Debian系)が起動します。インストールするOSの設定をした際にsshの設定もされていますので、IPアドレスを調べれば、以降の作業はリモートでも進めることができます。

Rapsberry Piの初期設定をする

インストール時にWi-Fiなどの設定は終わっていますので、初期設定はパッケージの更新からはじめます。Raspberry Pi 5の初期設定は下記を参考に進めていきます。

パッケージを更新する

リポジトリにアクセスして、すべてのパッケージを更新します。また、ファームウェアが古い場合はここでアップデートしておきましょう（6 December 2023以降にする）。加えて、AI Kitを接続するPCIeポートの通信設定をPCIe 3.0に切り替えます。すべて設定した後に、再起動してください。

# パッケージをすべて更新する
$ sudo apt update
$ sudo apt full-upgrade

# 再起動する
$ sudo reboot

# EEPROMのバージョンを確認する
# 6 December 2023以降であればアップデートはありません
$ sudo rpi-eeprom-update
# BOOTLOADER: up to date
#    CURRENT: Mon 23 Sep 13:02:56 UTC 2024 (1727096576)
#    LATEST: Mon 23 Sep 13:02:56 UTC 2024 (1727096576)
#    RELEASE: default (/lib/firmware/raspberrypi/bootloader-2712/default)
#             Use raspi-config to change the release.

### バージョンアップが必要な場合は下記を実行
# $ sudo raspi-config
# Advanced Options > Bootloader Version > Latest
# $ sudo rpi-eeprom-update -a
# $ sudo reboot

# PCIe Gen3を有効化する
# -->> Raspberry Pi 5はGen2らしいですが...
$ sudo vi /boot/firmware/config.txt
# 最後の行に以下を追加します
dtparam=pciex1_gen=3

# 再起動する
$ sudo reboot

日本語入力に必要なパッケージをインストールする

Raspberry Pi OSのGUIからターミナルを起動し、以下のコマンドを実行します。

####
# Raspberry Pi OSを日本語に対応させる
####
# raspi-configを起動する
$ sudo raspi-config
#
# -->> 5.Localisation Options
#  -->> L1 Locale
#  -->> ja_JP.UTF-8 UTF-8 
#  -->> ja_JP,UTF-8
#
# -->> 5.Localisation Options
#  -->> L3 Keyboard
#  -->> Generic 105-key PC
#  -->> Japanese
#  -->> The default for the keyboard layout
#  -->> No compose key
#  -->> (Use Ctrl+Alt+Backspace to terminate the X server?)
#       [Yes]
#
# 設定を反映させるため再起動する
$ sudo reboot

####
# VNCの設定をする
####
# ディスプレイをX11に切り替える
$ sudo raspi-config
#
# -->> 6.Advanced Options
#  -->> A6 Wayland
#  -->> W1 X11
#
$ sudo reboot

# リモートデスクトップを有効にする
$ sudo raspi-config
#
# -->> 3.Interface Options
#  -->> I3 VNC
#  -->> Would you like the VNC Server to be enabled?
#  -->> [Yes}
#
$ sudo reboot

####
# 日本語設定の続き
####
# パッケージ一覧を取得する
$ sudo apt update
# 日本語入力のパッケージFlatpak版Fcitx5-Mozcをインストールする
$ sudo apt install fcitx5-mozc
# 入力メソッドをfcitx5に設定する
$ im-config -n fcitx5
# 日本語フォントをインストールする
$ sudo apt install fonts-noto-cjk

# 再起動する
$ sudo reboot

### GUIで日本語設定を行う

再起動後にGUIで日本語入力の設定をします。RealVNC等での設定も可能です。スクリーン右上のキーボードマークを右クリックし、設定を開き、入力メソッドに「Mozc」を選択し、システムキーボードのレイアウトを選択で「日本語」を選択してください。

Windowsからパスワード無しでSSHできるうようにする

内容は、下記記事とほぼ同じです。

# SSHログインに必要なディレクトリ、ファイルを作成
$ cd ~
$ mkdir ./.ssh
$ touch ./.ssh/authorized_keys
$ sudo chmod 700 ~/.ssh
$ sudo chmod 640 ~/.ssh/authorized_keys

# Windows上で作成した公開鍵(id_rsa.pub)を書き込む
$ vi ~/.ssh/authorized_keys
ssh-rsa AAAAB3NzaC1yc2EAA...

Windowsのホームディレクトリ（私の場合はC:\Users\ixiv2\.ssh）のconfigファイルに以下の行を追加します。本例は、秘密鍵ファイルがid_rsa、Raspberry Pi 5のIPアドレスが192.168.10.140の場合です。

Host rasp5
	HostName 192.168.10.140
	User shino
	IdentityFile ~/.ssh/id_rsa

設定後、Visual Studio CodeのRemote Developentプラグインを使うことで、画面左下の「><」マークから、下記のようにリモートログインすることができます。

Python仮想環境を操作するcondaコマンドを準備する

AI/機械学習まわりの開発にはPythonを使うことが多いため、Pythonの仮想環境を操作できるcondaコマンドを追加します。本来はAnaconda3を使うところですが、Raspberry Pi 5のmicroSDカードは容量が限られていることから、今回はMiniforgeをインストールしました。

# インストーラーをダウンロードします(2024年11月最新版)
$ wget https://github.com/conda-forge/miniforge/releases/download/24.9.2-0/Miniforge-pypy3-24.9.2-0-Linux-aarch64.sh

# スクリプトを実行し、インストールしましょう
$ chmod +x ./Miniforge-pypy3-24.9.2-0-Linux-aarch64.sh
$ ./Miniforge-pypy3-24.9.2-0-Linux-aarch64.sh
# Do you accept the license terms? [yes|no]
# >>> yes
# ...
# You can undo this by running `conda init --reverse $SHELL`? [yes|no]
# [no] >>> yes

# .bashrcを読み直してcondaへのパスを有効化します
$ source ~/.bashrc

# 仮想環境の作成
(base) $ conda create --name env python=3.10 
# Proceed ([y]/n)? y

# 仮想環境へのログイン
(base) $ conda activate env
(env) $

# 仮想環境からのログアウト
(env) $ conda deactivate
(base) $

AI Kitを使うための初期設定をする

続いてAI Kitを使うための初期設定を行います。下記サイトの「Hardware setup」を参考に進めていきましょう。

# PCIeにHailoアクセラレータがあることを確認します
$ lspci 
# 0000:00:00.0 PCI bridge: Broadcom Inc. and subsidiaries BCM2712 PCIe Bridge (rev 21)
# 0000:01:00.0 Co-processor: Hailo Technologies Ltd. Hailo-8 AI Processor (rev 01)
# 0001:00:00.0 PCI bridge: Broadcom Inc. and subsidiaries BCM2712 PCIe Bridge (rev 21)
# 0001:01:00.0 Ethernet controller: Raspberry Pi Ltd RP1 PCIe 2.0 South Bridge

# Hailoに関するパッケージをすべてインストールします
$ sudo apt install hailo-all
# 必ず再起動してください
$ sudo reboot

# Hailoデバイスが認識できることを確認します
$ hailortcli fw-control identify
# Executing on device: 0000:01:00.0
# Identifying board
# Control Protocol Version: 2
# Firmware Version: 4.18.0 (release,app,extended context switch buffer)
# Logger Version: 0
# Board Name: Hailo-8
# Device Architecture: HAILO8L
# Serial Number: HLDDLBB243301301
# Part Number: HM21LB1C2LAE
# Product Name: HAILO-8L AI ACC M.2 B+M KEY MODULE EXT TMP

# 起動ログにHailoの認識が含まれていることを確認する
$ dmesg | grep -i hailo
# [    3.876599] hailo: Init module. driver version 4.18.0
# [    3.878946] hailo 0000:01:00.0: Probing on: 1e60:2864...
# [    3.878955] hailo 0000:01:00.0: Probing: Allocate memory for device extension, 11632
# [    3.878972] hailo 0000:01:00.0: enabling device (0000 -> 0002)
# [    3.878978] hailo 0000:01:00.0: Probing: Device enabled
# [    3.879000] hailo 0000:01:00.0: Probing: mapped bar 0 - 000000007c93cdbf 16384
# [    3.879007] hailo 0000:01:00.0: Probing: mapped bar 2 - 000000000072f5fa 4096
# [    3.879010] hailo 0000:01:00.0: Probing: mapped bar 4 - 00000000651cbbc6 16384
# [    3.879014] hailo 0000:01:00.0: Probing: Force setting max_desc_page_size to 4096 (recommended value is 16384)
# [    3.879024] hailo 0000:01:00.0: Probing: Enabled 64 bit dma
# [    3.879028] hailo 0000:01:00.0: Probing: Using userspace allocated vdma buffers
# [    3.879032] hailo 0000:01:00.0: Disabling ASPM L0s
# [    3.879036] hailo 0000:01:00.0: Successfully disabled ASPM L0s
# [    4.068975] hailo 0000:01:00.0: Firmware was loaded successfully
# [    4.083753] hailo 0000:01:00.0: Probing: Added board 1e60-2864, /dev/hailo0

AI Kitで推論する

AI Kitを試すことのできるサンプルプログラムは、いくつか配布されています。

Hailoが配布しているサンプルプログラム

GitHubから、Hailoが配布しているサンプルプログラムを入手できます。GUI出力がありますので、Raspberry Pi 5のデスクトップで実行しましょう。

# 作業ディレクトリを作成する
$ cd ~
$ mkdir hailo_sample
$ cd hailo_sample
$ pwd 
/home/shino/hailo_sample

# GitHubからサンプルプログラムを入手する
$ git clone https://github.com/hailo-ai/hailo-rpi5-examples.git
$ cd hailo-rpi5-examples/
$ ls
LICENSE          compile_postprocess.sh  install.sh        run_tests.sh
README.md        cpp                     meson.build       setup_env.sh
basic_pipelines  doc                     requirements.txt  tests
ci.yaml          download_resources.sh   resources


# 環境変数を設定する
$ source setup_env.sh

# サンプルを実行するために必要なパッケージを入手する
(venv_hailo_rpi5_examples) $ pip install -r requirements.txt

# サンプルプログラムが扱う動画像データを入手する
(venv_hailo_rpi5_examples) $ ./download_resources.sh

# Hailoのプラットフォームに基づくソリューションを
# 簡単に開発できるようにするTAPPASをインストールする
(venv_hailo_rpi5_examples) $ ./compile_postprocess.sh

# Hailoを使った推論を実行する
(venv_hailo_rpi5_examples) $ python basic_pipelines/detection.py
### resourcesに含まれている動画に対して物体検出を実行します

高精度でかなり高速に物体検出できるようですね！すごい！

Raspberry Piカメラに対応したサンプルプログラム

Raspberry Pi 5にカメラを接続し、設定する

まずはじめに、Raspberry Pi 5本体にRaspberry Pi対応のカメラモジュールを接続してください。なお、今回購入したカメラはIMX219というチップが搭載されているカメラで、ハードウェア的にRaspberry Pi 5に接続した後に /boot/firmware/config.txt の設定ファイルを編集する必要がありました（購入されたカメラにあわせて設定してください）。

# カメラを認識するようにコンフィグファイルを編集する
$ sudo vi /boot/firmware/config.txt
### 以下の行を camera_auto_detect=1 から camera_auto_detect=0 に変更
# Automatically load overlays for detected cameras
camera_auto_detect=0
### 最後の[all]指定部に dtoverlay=imx219,cam0 を追加
[all]
dtparam=pciex1_gen=3
dtoverlay=imx219,cam0

# 再起動する
$ reboot

設定後は libcamera-helloあるいはrpicam-helloを実行してカメラで撮影ができることを確認しましょう。

# GUIのある環境でカメラが撮影できていることを確認しましょう
## 確認方法 (1
$ libcamera-hello
## 確認方法 (2
$ rpicam-hello --list-cameras 0

Raspberry Pi 5 カメラの撮影後の後処理として推論する

Raspberry Piカメラと連携したHailoの推論は下記Webサイトの「Demos」を参照してください。rpicam-helloコマンドを使い、撮影の後処理としてHailoを使った推論を実施するサンプルプログラムを実行できます。

# GitHubからサンプルプログラムをダウンロードする
$ git clone --depth 1 https://github.com/raspberrypi/rpicam-apps.git ~/rpicam-apps

# 作業ディレクトリへ移動する
$ cd ~/rpicam-apps/
$ ls
README.md  core     license.txt        output                  utils
apps       encoder  meson.build        post_processing_stages
assets     image    meson_options.txt  preview

# 物体検出のデモを実行してみましょう
$ rpicam-hello -t 0 --post-process-file ~/rpicam-apps/assets/hailo_yolox_inference.json --lores-width 640 --lores-height 640 --framerate 20

様々なサンプルプログラムが提供されています、是非お試しください。