この記事について

物体認識系技術の勉強として学んだ内容のざっくりまとめ。
多くの画像は論文(HTML版arXiv)の画像へのリンク。

YOLO-World: Real-Time Open-Vocabulary Object Detection

オープンボキャブラリ物体検出に関する論文。
論文プロジェクトページ

物体検出セグメンテーション

高速なオープンボキャブラリ物体検出モデル YOLO-World を提案
- RepVL-PAN
- Region-Text Contrastive Loss(領域とテキストの対照損失)
- 擬似ラベル生成による大規模事前学習
- 推論専用の効率化戦略

用語メモ

用語	説明
オープンボキャブラリ物体検出	検出対象の物体を任意のテキストで自由に指定する
grounding	抽象的なモノを具体的なモノに結びつけること言語情報を画像中の物体に結びつける

※以降、オープンボキャブラリをOVと記載

自動アノテーションでの利用を想定したポテンシャル確認

課題感と期待

課題
- アノテーションの効率化は多くのプロジェクトで課題になりがち
- 既存モデルをアノテーションに利用する取り組みは各所でされているが、デファクトスタンダードな方法はない印象
- GPT-4o等のLLM(VLM)はBOXの位置やサイズが不正確
  (YOLO-Worldを調べている時点で、自身でのGemini2.0検証は未実施)
期待
- OVならクラス定義を自由に変更でき、可用性の高い自動アノテーションモデルとして活用できる

Re-parameterizable Vision-Language PAN

従来の物体検出器と一般的なOV物体検出器を混ぜたような使い勝手
- 検出対象とするプロンプトを事前にセット(テキスト埋め込みを事前に作成)
- T-CSPLayerとI-Pooling Attentionの簡易化

以下の流れで24万枚以上をラベリング

CLIPベースフィルタリング

LVISデータセットを使用してゼロショット性能を評価
参考: LVISデータセットの概要

論文の Table 2 の画像
推論速度(FPS)、精度面で既存手法と比較して強力。
ただしYOLO-Worldは推論速度がウリであるため、比較対象に各モデルの小規模なものが選出。

定性評価

所感

論文内の主張のみを見ると魅力的に見えるものの、実用の観点ではまだまだ精度が不十分な印象
- 上記の印象は下記参考情報や自身の簡単な検証からの感想としては、アプリへの組み込みや自動アノテーションどちらの用途でも難しそう
  - 指定した物体を全然検出できないことや、1インスタンス程度しか検出できなかったり
速度はOVであることを考えると充分速い印象
実用したいと考えた場合には、LVIS等のデータセットによる評価力がまだまだ不足しているのかもしれない
速度面の制約が少ない自動アノテーション目的であればGrounding DINOの大規模モデルが良いかもしれない

参考情報