はじめに

「DonkeyCarのディープラーニングモデルをMATLABでトレーニングしてみる」では、MATLABを使ってDonkeyCarのディープラーニングモデルの学習を試みてみました。今回は、DonkeCarのデータセットをMATLAB/Simulinkでリプレイし、デープラーニングによる予測モデルを実行してみます。

使用したツール

MATLAB 2021B (MATLAB Home)
Deep Learning Toolbox
Simulink Support Package for Raspberry Pi Add-On (ここではRaspberry PIを使用していませんが、video displayという映像表示ブロックのみ使っています。)

MATLABライブスクリプトを下記、GitHubに公開しています。(リンク先のページにあるコマンドをMATLAB コマンドウインドウにコピー＆ペーストすると、自動でファイルを展開します。）
Replay_DonkeyCar_Simulink

トレーニング用データとディープラーニングモデル

GitHubに公開されているこちらのトレーニングデータを使います。

使用するデータセット circuit_launch_20210716_1826.tar.gz

デープラーニングモデルとして、以下の*.h5ファイル(Kerasモデル)を使用します。
https://github.com/autorope/donkey_datasets/tree/master/circuit_launch_20210716/models

データセットのダウンロード

以下のMATLABスクリプトを実行し、DonkeyCarのデータセットファイル(*.gz)をGitHubからダウンロードし、カレントフォルダ下に解凍します。
※MATLAB Onlineでの利用を考慮し、No.4のデータのみ再圧縮したファイルのリンクに変更しました。

%Download DonkeyCar dataset on GitHub
% url = 'https://github.com/autorope/donkey_datasets/raw/master/circuit_launch_20210716/';%Original URL
% tarfile = 'circuit_launch_20210716_1826.tar.gz'; %Original data
url = 'https://github.com/covao/donkey_dataset_example/raw/main/';
tarfile = 'circuit_launch_20210716_1826_no4.tar.gz'; %Recompress only No4 data

datapath = './murmurpi4_circuit_launch_20210716_1826/data/';%Data Path

if(~exist(datapath,'file')) %if not unzipped
    disp('Wait a few minutes for downloading and unziping.')
    websave('temp.gz',[url tarfile],weboptions('Timeout',Inf));
    untar('temp.gz');
end

事前学習済みディープラーニングモデルのダウンロード

DonkeyCarの事前学習済みディープラーニングモデルファイル(Kerasモデル)をダウンロードします。ここでは、pilot_21-08-12_7.h5を使います。

%Download Donkeycar deep learning mode
netfile='pilot_21-08-12_7.h5';
websave(netfile,[url 'models/' netfile]);

事前学習済みモデルの読み込み

モデルをワークスペースに読み込みます

donkeyKerasNet = importKerasNetwork(netfile); %Load pre-trained network
save donkeyKerasNet;

catalogファイルの読み込み

DonkeyCarの走行データのリストが、*.catalogファイルに記録されています。画像データファイル名とステアリング値、スロットル値を含むデータセットをMATLABに読み込みます。ここでは、catalog_4.catalogを読み込みます。

%Import catalog
catalogfile = [datapath 'catalog_4.catalog'];%Catalog file
clear dataset;
js = readlines(catalogfile);
for(i = 1:length(js)-1)
    dataset(i) = jsondecode(js(i));
end

%Set image path
imgfolder = [datapath 'images/'];
imgfiles = {dataset.cam_image_array};
imgpath = {};
for(i = 1:length(imgfiles))
    imgpath{i} = strcat(imgfolder,imgfiles{i});
end

信号の構造体を作成

%Create Signal Structure for Simulink
ti = [dataset.x_timestamp_ms]';
ti = (ti-ti(1))/1000;

SigSteering.time = ti;
SigSteering.signals.dimensions = 1;
SigSteering.signals.values = [dataset.user_angle]'

SigThrottle.time = ti;
SigThrottle.signals.dimentions = 1;
SigThrottle.signals.values = [dataset.user_throttle]';

画像信号の構造体を作成

%Create Image Array
for(i=1:length(imgpath))
    img(:,:,:,i)=imread(imgpath{i});
end

%Create Image Signal Structure for Simulink
SigImage.time = ti;
SigImage.signals.dimensions=[120 160 3];
SigImage.signals.values = img;

Simulinkモデルのオープンと実行

こちらのモデルファイルを使います。
GitHubのリンク

open('donkeycar_replay.mdl');

さいごに

DonkeyCarの走行データをSimulinkでリプレイしてみました。
次回は、DonkeyCarのデープラーニングモデルをRaspberry Piに実装する方法をまとめてみたいと思います。

DonkeyCarのデータセットをMATLAB/Simulinkでリプレイしてみる