ブラックフライデーの戦利品と、冷えてない水問題
AIスタートアップでエンジニアをしている明生です。
突然ですが、先日のAmazonブラックフライデー、皆さんはどう過ごしましたか？ 私は例のごとく、「安いから」という理由だけで炭酸水やペットボトル飲料を箱買いし、玄関が段ボールの塔で埋め尽くされました。
そして発生するのが**「冷蔵庫に移し忘れて、ぬるい水を飲む羽目になる問題」**です。
「これをテクノロジーで解決できないか？」 ……というのは半分冗談で、半分は本気です。
今回は、今後の事業展開を見据えたPoC（概念実証）として、激安IoTマイコン「ESP32」と、Metaの最新モデル「SAM 3 (Segment Anything Model 3)」を組み合わせた物体認識システムを構築してみました。
オフィス内のダンボールに入ったまま大量に積まれたペットボトル
なぜ「冷蔵庫のペットボトル」なのか？そこには、AIエンジニアなら共感できる「厄介な技術的課題」が隠されているからです。
なぜ「冷蔵庫 x ペットボトル水」がPoCに最適なのか？
一見、ふざけたテーマに見えるかもしれませんが、コンピュータビジョン（CV）の観点から見ると、冷蔵庫の中は**「難易度Sクラスのダンジョン」**です。
今回のPoC対象として選んだ理由は以下の3点。これらはそのまま、産業用ロボットや自動運転でも課題となる要素です。
-
透明・半透明物体の難しさ: 水が入ったペットボトルは透明です。背景が透けるだけでなく、庫内の照明を複雑に乱反射します。従来のCNN（畳み込みニューラルネットワーク）ベースの物体検出では、輪郭を捉えきれずに背景の一部として処理してしまうことが多々あります。
-
「透明な棚板」の罠: 最近の冷蔵庫は棚板も透明プラスチックやガラスです。SAMのような強力なセグメンテーションモデルであっても、棚板の境界線を「物体のエッジ」と誤認したり、あるいは棚板を透過して下の段の物体を誤検知したりするリスクがあります。
-
悪条件下の照明: 冷蔵庫の奥は暗く、手前は明るい。照度差が激しいうえに、透明な棚板にボトルの影が落ち、その「影」を実体として誤認するケースもあります。
実際の冷蔵庫の中
つまり、**「この過酷な環境でペットボトルを正確にセグメントできれば、大抵のオフィスや工場の物体認識は余裕でクリアできる」**というわけです。
システム構成：2,000円のエッジと最強の頭脳
今回の構成は極めてシンプルかつ低コストです。
-
Edge (目): ESP32S3-CAM
-
Brain (脳): ローカルPCサーバー ( ryzen AI MAX+ 395とMeta SAM 3 稼働)
-
Network: WiFi (HTTP POST)
ESP32自体にはSAM 3を動かすパワーはありません。ESP32はあくまで撮影デバイスとして機能し、画像をサーバーへ投げます。サーバー側で推論を行い、結果（在庫数やマスク画像）を返します。
システム概念図
ゼロ・チューニングの衝撃：完全AI任せの成果
今回のPoCにおいて、私が最も強調したい成果は、認識精度そのものよりも**「特定の環境に一切特化させていない」**という点です。
通常、この手のPoCでは「デモ映え」させるために、照明を調整したり、認識しやすい角度にカメラを固定したりといった"ズル"（あるいは最適化）を行いたくなるものです。しかし、今回のシステムではそれらを一切排除しました。
-
冷蔵庫非依存: 特定の冷蔵庫のモデルや棚の配置に合わせたキャリブレーションはゼロ。
-
対象物非依存: 特定のペットボトルの銘柄や形状（丸形・角型）の事前学習なし。
-
カメラ位置フリー: カメラの設置位置や角度に関する厳密な調整なし。
つまり、完全にAI（SAM 3）の推論能力と自動調整のみで、この透明物体認識を実現しています。 従来の画像処理開発であれば、「この冷蔵庫の照明条件なら、二値化の閾値はこれくらいで…」といった泥臭いパラメータ調整（ヒューリスティックな職人芸）が不可欠でした。
しかし今回は、そうした人間による「環境へのオーバーフィッティング」を完全に排除しました。純粋な基盤モデルの力だけで、ここまでの環境適応能力を見せた事実は、今後の導入コストや展開スピードを劇的に変える可能性を秘めています。
まとめと今後の展望
結果として、冷蔵庫内のペットボトルは、透明な棚板や反射に惑わされることなく、驚くべき精度でセグメンテーションされました。
冷蔵庫内のペットボトルに綺麗にマスク（色分け）がかかっている
これで、飲みたくない時に限って冷蔵庫がパンパンで、飲みたい時に冷えていないという悲劇を回避できる……かもしれません。
今回のPoCを通じて、「透明物体の認識」という古典的な難問に対し、SAM 3のような基盤モデルが強力なソリューションになることが確認できました。
私たちスタートアップは、こうした身近な（そして少し馬鹿げた）実験の積み重ねから、社会を変えるイノベーションの種を探しています。
この記事に関するご意見やご感想、または「うちの冷蔵庫でもやってみたい！」というエンジニアの方がいらっしゃいましたら、ぜひコメントをお聞かせください。
明生ライジングの実験室より。
https://www.akiorizing.com/