最先端の推論に対する私の賭けは、tpu（コーラル）またはcpu-only（ラズベリー）のソリューションにあります。
サンゴの場合：TPUは1ワットあたり非常に魅力的な性能を発揮します。多くの軽量推論タスク（顔検出、セグメンテーション、オブジェクト検出など）では、サンゴが最善の解決策になります。 Googleは、[tf-lite] （https://www.tensorflow.org/lite） を使用したモデリングと[mediapipe] （https://github.com/google/mediapipe/） を使用した推論の両方をサポートしています。ごく短期間でシステム全体をトレーニング、最適化、および展開し、生産品質を期待できます。
NANO
もう一方の端は、私が非常に興奮しているCPUのみの推論です。 CPUでは、高度に量子化された特殊なモデルが必要です。いくつかのスタートアップ（例えばxnor.ai）がこれに取り組んでいますが、彼らはあなたにハードウェアではなくモデルを売りたいと思っています。ソフトウェアツールキットがコモディティ化されれば、これらのソリューションは非常に普及するでしょう。
Jetsonの最大の問題は、同じ会社によってエンドツーエンドで開発されていないことです。 Facebookは組み込みシステムを気にしていないし、NvidiaがGPUを売るのを手助けすることも望んでいない。そのため、Jetsonは常にPytorchコミュニティの2番目の市民です。それに加えて、組み込みシステムでGPUを使用することは、非常に特殊なユースケースがない限り、悪い選択です。
Rasp pi 4
RPi 4 +コーラルUSBアクセラレータを検討しましたか？ それは良い組み合わせかもしれません。
しかし、私自身の意見を述べるために：
Google Coral - お勧めしません。 ソフトウェアエコシステムのため、RPi 4 + USBアクセラレータをお勧めします。 デメリットは、テンソルフローライトのみのサポートです。
RPi 4自体 - 十分に強力ではありません。
Jetson - 良い妥協案 RPi 4自体よりも強力な、より多くのライブラリーをサポートします。
Coral開発ボード
Coral USB 加速器
Google Coralインターネットでの購入：https://store.gravitylink.com