個人開発アプリTinyONNXViewer v1.0をリリース

TL;DR

　今回、https://tinyonnxviewer.com にて機械学習モデルの情報をまとめたONNXファイル、中でも数層くらいからなるものすごい小さいONNXファイルを綺麗に可視化する個人開発アプリTinyONNXViewer v1.0をリリースしたので、こちらで告知させて頂き簡単に背景や所感も述べ、現状の課題なども共有させて頂きます。https://github.com/guard-mann/tinyonnxviewer.git がリポジトリになります。

例. NetronとTinyONNXViewerの比較図

　 ↑ この画像の上パートは競合アプリと言ってもいい Netron¹のUIを示しており、下パートは今回リリースしたTinyONNXViewerのUIを示している。TinyONNXViewerは、レイヤー単位でアーキテクチャを描画してくれるNetronとは違って、もっと細かい粒度であるユニット単位でグラフを描画してくれる。あくまで現状このアプリはすごく小さい2層か3層くらいの全結合からなるニューラルネットワークを想定していることを念頭に置いて使って頂けると幸いである。

　 しかし、TinyONNXViewerは現状結構なクソアプリであることも伝えなければならない。世界中のユーザーをガッカリさせないためにも先にクソポイントを開示させて頂く。

• クソポイント1：ノード数10（要は10層）以下の相当小さいアーキテクチャではユニークなUIを提供するが、10層以上のアーキテクチャではレイヤー単位での描画しか行わない上に、Netronよりも表示する情報が少なく、画像をそのままレンダリングさせているため質がNetronよりもはるかに低いUIを提供する(下に添付した例3.)
  
  
• クソポイント2：10層以下のアーキテクチャに関して、ユニット単位でグラフ描画をしてくれるのは全結合層だけに限る。他のレイヤーはレイヤー単位でグラフ描画が行われる(下に添付した例2.)
  
  
• クソポイント3：ONNXをアップロードしてから結果が返るまでが遅い。
  
  

例2. (全結合層以外はレイヤー単位で描画)

例3. (ONNX Model Zooに入っているような一般的なサイズのモデルだと質が低い)

使い方

　このアプリは、ONNXを可視化する機能を有している。これはUI下部のファイルを選択ボタンを押して、ONNXファイルを選択した後ONNX Uploadというボタンを押すと、アップロードしたONNXファイルが描画される。ONNX以外は対応していない。2stepの操作が必要なあたり流石のクソアプリっぷりではあるのだが、ご容赦頂きたい。数層程度からなる極めて小さいTinyなONNXであれば綺麗に所望の描画ができる。

ONNXって何？

　ONNXは機械学習モデルを格納する共通規格であり、主に推論で用いられるバイナリファイルである。例えば ONNX Model Zoo² には汎用性の高い学習済みモデルをONNXファイルとして多数格納しており、タスク（Computer Vision/Natural Language Processing/Generative AI etc..）ごとにカテゴリ分けされてまとめられている。

この”規格”の優れたところは、互換性の高さである。機械学習のライブラリは多岐に渡っており、推論の際にライブラリを超えて使いまわせる規格としてONNXは最も優れたものであると言える。ONNXの公式サイト³にはSUPPORTED FRAMEWORKSとして以下のような表示がなされている。

このONNXという規格はバイナリファイル(*.onnx)で保管され、バイナリにまとめられる情報は、機械学習の推論に必要な情報が格納されている。アーキテクチャの情報、重みの情報、入力、出力次元の情報などが挙げられる。これさえあればPyTorch環境で学習させたモデルをTensorflow環境で推論させたりできてとても便利なのである。

ブラックボックス化されがちな機械学習モデル

　機械学習モデルは（ONNXだろうが）どんなフォーマットで管理しようが、中で何が行われているのか、ブラックボックス化されがちである。それをクリアにするためのフレームワークはすでに多数存在している。例えば、PyTorchViZ⁴やTorchView⁵ではPyTorchで組まれている処理がどんなフローかを綺麗に描画してくれたり、TensorSensor⁶ではNumpyやPyTorchの行列処理を可視化してくれる。

　こういう処理フローを可視化するツールは大量にあるが、ONNXの中身を見たい場合Netronというサービスを使うことが多い。これはブラウザからでもONNXファイルを見ることができる（アプリ版もある）。ONNXは１つの深層学習モデルの情報全てが入っており、Netronはその情報を(すべてではないが)確認できる。

↑ 例えばこの図はNetronでONNX Model ZooのResNet18を可視化した例である。グラフ状にアーキテクチャの情報が描画され、大変わかりやすい。また、ノードをクリックすると、そのノードの属性情報も確認できる。ONNXの中身を確認したければ、大概の場合はNetronで事足りるのである。

　他にもこういう処理系統を可視化するツールはいくつかあるが、ONNXに関してはNetronがよく使われる。ちなみにNetronはONNX以外も描画することができる（.prototxtとか）。

Netronでよくね？

正直そう。
ただ、Netronはあくまでレイヤーレベルでの処理のトラックしかできない一方、ユニットレベルで情報を確認できると嬉しいこともある。例えば教科書でよくニューラルネットワークの説明をするときにユニットレベルの処理の様子を下図のような感じで記述する。これを実際に現場で使うことも多いONNXから推論させたりしながら確認することができると初学者にとっては少し嬉しい。

↑ Wikipediaで”ニューラルネットワーク”の記事で出てくるよく分からん図

　他にもDropoutの作用をさせた際に、ちゃんとワークしているかをトラックしたかったり、基礎的な解析をしたい場合であったり、ユニットレベルでニューラルネットワークを描画できると意外と嬉しいケースもあるのではないかと考えている。

　また今後の展開として、現状学習の際にエッジ重みがどう変化していくかを視覚的に把握したい場合に使えるようにしたいという構想もある。例えばこの優れた記事⁷では学習過程でどうエッジ重みが変化していくかをかなり綺麗に描画してくれている。こういう描画がフレームワークを超えてもっと簡単にできるようになると大変嬉しい（未実装：今後の自分に期待）ので、エッジの太さと重みを対応づけるとかそういう拡張も進めていきたいと考えている。

一応、アプリ開発の流れと所感

使っている要素は以下の通り

・バックエンド（Java Spring）

・フロントエンド（React）

・構成（AWS EC2,ALB,S3）

所感：思ってたより金がかかる。

1. URL : https://netron.app/ ↩

2. URL : https://github.com/onnx/models.git ↩

3. URL : https://onnx.ai/ ↩

4. URL : https://github.com/szagoruyko/pytorchviz.git ↩

5. URL : https://github.com/mert-kurttutan/torchview.git ↩

6. URL : https://github.com/parrt/tensor-sensor.git ↩

7. URL : https://qiita.com/gensal/items/4ee74531d22e3ba7a556 ↩