WebAssembly(Wasm)とは
・WASMはウェブブラウザ（クライアントサイド）で動作する低水準プログラミング言語
・現在はウェブブラウザにとどまらず、サーバー、IoTデバイスなどで動作するようになってきている
・wasmの実行環境がsandbox化されて、メモリ空間が隔離されていたり、ファイルシステムなどのリソースへのアクセスを制限することができる。
・wasm moduleは、ポータビリティが高く、同一のbinaryが異なるCPU アーキテクチャ上で動作させることができる。
・機械学習の分野でもwasm を使うケースが増えてきている、クラウド上で動かしたモデルをwasmのポータビリティを活かして、同じmoduleをエッジ側にdeployするなどが可能になっている。
WebAssemblyが生まれた経緯
・元々ブラウザでは対応できない高度な処理を行うための言語としてJava Scriptが開発された
例: ブラウザ上でのリアルタイムグラフの作成、検索、ソート、ブラウザゲームの実装など
・ 時代と共にJSに求められる機能も増えていったが、JAVAと同様にインタプリタ言語であり、サイズが大きく、CやRustなどの
コンパイル言語と比較して速度が遅い
・ ブラウザがスマートフォンなどの携帯端末に実装されるようになり、低速なCPUでもより実行速度を求められるようになった
・ JSを高速化する方法としてasm.jsが開発されたが、コンパイル時間が長く、データ構造の概念が存在しないなど使用上の
問題が多く、JavaScriptの根本的な問題を解決する方法としてWebAssemblyが提唱される
Yolov3をwasmにビルドする
・Cで書かれたYolov3 を WASI-SDKを使ってwasm module にビルドしてみた。
やったこと①
・wasm module化するためのWASI-SDKのインストール。
https://github.com/WebAssembly/wasi-sdk
export WASI_VERSION=14
export WASI_VERSION_FULL=${WASI_VERSION}.0
wget https://github.com/WebAssembly/wasi-sdk/releases/download/wasi-sdk-${WASI_VERSION}/wasi-sdk-${WASI_VERSION_FULL}-linux.tar.gz
tar xvf wasi-sdk-${WASI_VERSION_FULL}-linux.tar.gz
sudo mkdir /opt/
sudo cp -rf ./wasi-sdk-${WASI_VERSION_FULL} /opt/
やったこと②
・Makefileの修正
コンパイラをgccからwasi-sdkに含まれているclangに変更
-CC=gcc
-CPP=g++
+WASI_SDK_PATH = /opt/wasi-sdk-14.0
+CC=$(WASI_SDK_PATH)/bin/clang --sysroot=$(WASI_SDK_PATH)/share/wasi-sysroot
+CPP=$(WASI_SDK_PATH)/bin/clang++ --sysroot=$(WASI_SDK_PATH)/share/wasi-sysroot
やったこと③
・推論(detector)だけ動かしたかったので、不要な物をbuild対象から外す。
推論に必要なものは、yolo.o と detector.o と darknet.o のみ。
-EXECOBJA=captcha.o lsd.o super.o art.o tag.o cifar.o go.o rnn.o segmenter.o regressor.o classifier.o coco.o yolo.o detector.o nightmare.o instance-segmenter.o darknet.o
+EXECOBJA=yolo.o detector.o darknet.o
やったこと④
・実行時にout of bounds memory accessが起きるので、その修正。
Loading weights from ./yolov3-tiny.weights...Done!
Enter Image Path: ./data/dog.jpg
./data/dog.jpg: Predicted in 47.716545 seconds.
Exception: out of bounds memory access
最大の難所だったのが、使ったyolov3-tinyのweightファイル(https://pjreddie.com/darknet/yolo/) が64bit環境で動かす前提で作られていた。
wasmはまだ32bit 対応しかされてないので、weightファイルのパースに失敗していた。ここを強制的に修正。
--- a/src/parser.c
+++ b/src/parser.c
@@ -1234,7 +1234,8 @@ void load_weights_upto(network *net, char *filename, int start, int cutoff)
fread(&minor, sizeof(int), 1, fp);
fread(&revision, sizeof(int), 1, fp);
if ((major*10 + minor) >= 2 && major < 1000 && minor < 1000){
- fread(net->seen, sizeof(size_t), 1, fp);
+ fread(net->seen, 8, 1, fp);
} else {
int iseen = 0;
fread(&iseen, sizeof(int), 1, fp);
実際にビルドして動作させたコードはこちら
https://github.com/daiki0321/darknet_wasm
buildしたwasmをWeb Assembly Micro Runtime上で実行する
・今回buildしたyolo wasmの実行環境は、Web Assembly Micro Runtimeを使用。
このruntimeをx86_64環境と、ラズパイ(arm64) 用にビルドして、同一のyolo wasmを実行してみる。
Web Assembly Micro Runtimeのビルド方法
・こちらを参考にして、Runtimeのビルド
https://github.com/bytecodealliance/wasm-micro-runtime/blob/main/doc/build_wamr.md#linux
cd product-mini/platforms/linux/
mkdir build
cd build
cmake -DWAMR_BUILD_INTERP=1 -DWAMR_BUILD_FAST_INTERP=1 -DWAMR_BUILD_JIT=0 -DWAMR_BUILD_AOT=1 -DWAMR_BUILD_LIBC_WASI=1 -DWAMR_BUILD_SHARED_MEMORY=1 -DWAMR_BUILD_LIB_PTHREAD=1 ..
make
# iwasm is generated under current directory
ラズパイ用にビルドするときは、cmake時に-DWAMR_BUILD_TARGET=AARCH64を追加する。
Web Assembly Micro Runtime上で実行する。
・--dir を使って、wasm moduleが指定したディレクトリにアクセスすることを許可する。
darknet.wasm 以降のコマンドはもとのyolov3 のコマンドと同じ。
weightsファイルはyolov3の本家のサイトからDownlonad.
$ ./iwasm --dir=cfg --dir=data --dir=. ./darknet.wasm detect cfg/yolov3-tiny.cfg ./yolov3-tiny.weights ./data/dog.jpg
layer filters size input output
0 conv 16 3 x 3 / 1 416 x 416 x 3 -> 416 x 416 x 16 0.150 BFLOPs
1 max 2 x 2 / 2 416 x 416 x 16 -> 208 x 208 x 16
2 conv 32 3 x 3 / 1 208 x 208 x 16 -> 208 x 208 x 32 0.399 BFLOPs
3 max 2 x 2 / 2 208 x 208 x 32 -> 104 x 104 x 32
4 conv 64 3 x 3 / 1 104 x 104 x 32 -> 104 x 104 x 64 0.399 BFLOPs
5 max 2 x 2 / 2 104 x 104 x 64 -> 52 x 52 x 64
6 conv 128 3 x 3 / 1 52 x 52 x 64 -> 52 x 52 x 128 0.399 BFLOPs
7 max 2 x 2 / 2 52 x 52 x 128 -> 26 x 26 x 128
8 conv 256 3 x 3 / 1 26 x 26 x 128 -> 26 x 26 x 256 0.399 BFLOPs
9 max 2 x 2 / 2 26 x 26 x 256 -> 13 x 13 x 256
10 conv 512 3 x 3 / 1 13 x 13 x 256 -> 13 x 13 x 512 0.399 BFLOPs
11 max 2 x 2 / 1 13 x 13 x 512 -> 13 x 13 x 512
12 conv 1024 3 x 3 / 1 13 x 13 x 512 -> 13 x 13 x1024 1.595 BFLOPs
13 conv 256 1 x 1 / 1 13 x 13 x1024 -> 13 x 13 x 256 0.089 BFLOPs
14 conv 512 3 x 3 / 1 13 x 13 x 256 -> 13 x 13 x 512 0.399 BFLOPs
15 conv 255 1 x 1 / 1 13 x 13 x 512 -> 13 x 13 x 255 0.044 BFLOPs
16 yolo
17 route 13
18 conv 128 1 x 1 / 1 13 x 13 x 256 -> 13 x 13 x 128 0.011 BFLOPs
19 upsample 2x 13 x 13 x 128 -> 26 x 26 x 128
20 route 19 8
21 conv 256 3 x 3 / 1 26 x 26 x 384 -> 26 x 26 x 256 1.196 BFLOPs
22 conv 255 1 x 1 / 1 26 x 26 x 256 -> 26 x 26 x 255 0.088 BFLOPs
23 yolo
Loading weights from ./yolov3-tiny.weights...Done!
./data/dog.jpg: Predicted in 48.841929 seconds.
dog: 57%
car: 62%
car: 52%
truck: 56%
bicycle: 59%
・X86_64のubuntuでは、大体50sec かかった
ラズパイにubuntu(22.04) を入れて測ると、963 secもかかった。
さすがにwasmのままだと速度が出てなくて使い物にならない。
JITとAOTコンパイラの速度比較
・Wasmは、AOT (Ahead-of-time) コンパイルができ、事前にWeb Assembly のByte CodeからCPUに応じた機械語にコンパイルしておくことができる。
以下のコマンドでAoTコンパイルする。
https://github.com/bytecodealliance/wasm-micro-runtime/blob/main/doc/build_wasm_app.md#compile-wasm-to-aot-module
./wamr-compiler/wamrc --disable-simd --target=x86_64 -o ../darknet_wasm/darknet.wasm.aot ../darknet_wasm/darknet.wasm
・以下の4パターンで実行時間を計測した。
① JITコンパイラで実行した場合(darknet.wasm)
② AOTコンパイル後に実行した場合(darknet.wasm.aot)
③ ② + yoloの中で行列計算を行う部分のgemm_nnのみをnativeで実行した場合
④ wasmを使わずに、nativeで実行した場合(darknet)
・機械学習モデルをwasm化する場合は、AOTコンパイルは必須で必要になる。
AIモデルの推論は行列計算のような同じコードを何度も通るので、その部分のみをnativeにするか、GPUやアクセラレータにオフロードすれば、wasm化したことによる速度低下はほとんどなく、さらにwasmの良さであるsandboax化やPortabilityの恩恵を受けることができる。
