機械学習の推論の実行は、ボードのCPU/GPUのリソースを多く使ってしまう。
機械学習の推論したいモデルの数は、多くなりがちである。
１つの推論モデルだけを実行するだけならば十分でも、
複数の推論モデルを実行する際には、不足がちになってしまう。
エッジ推論用のアクセラレータという選択肢
解決策の１つは、機械学習のためのアクセラレータを追加することだ。
追加するアクセラレータに必要な条件
- 既存の学習済みのモデルなどを利用しやすいこと。
- なるべく、既存の枠組みとの相性がいいこと。
- その大きさのモデルが載ること、メモリの使用量
- 画像入力とフレームレートとインタフェースの帯域
そういったことを検証すること。
HAILO
HAILO Hailo-8 AIプロセッサ
HAILO AIビジョンプロセッサ「Hailo-15」
Hailo Vision Processor Software Package
- Template APPlications And Solutions
- Object detection
- License Plate Recognition (LPR)
- Multi-stream Object Detection
- Multi-Camera Multi-Person Tracking (RE-ID)
- Semantic Segmentation
- Depth Estimation
- Instance Segmentation
- Pose Estimation
- Facial Detection and Recognition
github HAILO https://github.com/hailo-ai
github HAILO models zoo
HailoRT
HailoRTは、ホストプロセッサー上で動作する商用化品質で軽量かつ拡張可能なランタイムソフトウェア
Hailo-8 M.2 AI アクセラレーションモジュール
Supported Frameworks
TensorFLow, TensorFlow Lite, ONNX, Keras, Pytorch
MACNICA HAILO
アナログ・テック長期供給、低消費電力で高い推論処理能力を誇る Hailo社の産業用AIチップ『Hailo-8™ AI Processor』
Hailo-8™チップ搭載モジュール
アナログ・テックAIチップ開発環境 Hailo-8™ 評価開発キット
引用元
Hailo、新しいスマートカメラ向けAIチップを発表――従来の5倍以上の性能を同等の価格帯で
TIER IV BLOG 自動運転におけるAIコンピューティングIIのMEET UPを開催しました！
MEET UPでの説明会のYoutube動画が上記のページにある。