0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

More than 1 year has passed since last update.

CatteleActivityRecognition-Survey

Last updated at Posted at 2023-12-19

調査目的

研究したい内容として、首輪に取り付けたワイヤレスセンサーと俯瞰動画のマルチモーダルなデータから牛の行動状態を識別したいと考えています。また、この研究においては、現在流行しているTransformerアーキテクチャをモデルとして活用したいと考えています。

俯瞰カメラのみの情報でも十分に精度のあるモデルはあります。
そこでの問題は精密畜産(PLF)です。
行動識別と個体識別を組み合わせることで、俯瞰カメラの情報だけでは得られないストレス情報や健康状態も管理し、人手の足りない畜産分野に貢献したいと考えています。

段階的に研究を進めていきたいと考えており、
一、加速度・動画それぞれで行動・個体識別のベースラインモデルを構築します。
二、加速度・動画を加えたマルチモーダルなモデルを構築します。
三、発情検知・病気の検出・飼料の管理など高度な予測を実現します。
四、モバイルデバイスでも運用できるようモデルの軽量化を考えています。

調査内容概略

関連性の高いと判断した計10本の論文を調査した。
時代の流れとして入力データについて、牛に不快感を抱かせてしまう可能性のあるセンサーから俯瞰動画に移行している。
しかし、俯瞰動画では個体識別が問題であり次フレームで牛がどこに行ったのか特定することが難しい。
使用しているモデルは古典的な機械学習手法であるSVM、KNNのほかに深層学習手法ではResNet、YOLO、R-CNNとCNNベースのものが用いられている。
畜産におけるTransformerの適用事例として豚を対象にしたマルチタスク予測の例が一件見つかった。

各論文調査内容

牛の行動識別と個体識別について

1. Cattle Identification and Activity Recognition by Surveillance Camera

発行年月

・2020年12月

論文概要

  • センサーは衝突等で簡単に壊れてしまう
  • センサーでは牛の部位の動きを識別できない
  • 複数体存在する場合に、画像での体に模様のない牛の部位の識別は難しい
  • 俯瞰動画から行動状態を識別する

I/O、データ概要

  • 動画インプット、行動状態アウトプット
  • 屋内の3点の監視カメラの動画
  • 行動状態は動/静の2値
  • 12時間の動画(1時間インターバルの一日分のデータ)でモデルを訓練した
  • 検証データは6時間の動画
  • アノテーションは1フレーム/2分の頻度で行った

処理の流れ

image.png

結果

image.png

改善できそうな部分

  • 動画のはじめのフレームに牛のIDのアノテーションが必要

センサーを用いた三点測量で牛のIDのアノテーションすればいいのでは

2. An object detection application approach to analyze cattle under camera surveillance

発行年月

2022年4月

I/O、データ概要

  • 入力は屋内監視カメラからの画像一枚(リアルタイムトラッキング)
  • 出力は牛の行動状態3種類(睡眠、摂食、立位)
  • Yoloモデルは非常に速くリアルタイムトラッキングが可能

処理の流れ

image.png

結果

image.png

3. A systematic review of machine learning techniques for cattle identification: Datasets, methods and future directions

発行年月

2022年9月

論文概要

  • 731件の画像から畜牛飼育での機械学習の適用事例の論文を収集
  • SVM、KNN、MLPがよく用いられている
  • 表4にDeep Learningでの個体識別の研究まとめ
  • Deep LearningではResNet、YOLO、R-CNNが良く用いられている
  • 表7に撮影環境について

4. Cow detection and tracking system utilizing multi-feature tracking algorithm

発行年月

2023年10月

I/O、データ概要

入力は動画1フレーム
出力は出産する可能性が高い牛を識別
大分県(360 度の魚眼カメラ)と宮崎県の農場(4Kカメラ)
1 時間のビデオのプロセスを約 5 分に短縮しノイズ除去
後続のフレーム内の最も近い検出ボックスの位置を正しい位置とみなす

処理の流れ

image.png

結果

image.png

5. Multiview Monitoring of Individual Cattle Behavior Based on Action Recognition in Closed Barns Using Deep Learning

発行年月

2023年6月

I/O、データ概要

  • 入力は画像シーケンス
  • 出力は個体識別
  • 部分動作、個人、グループのアクションなどの階層的なグループに分割された15の行動
  • 部分動作は、頭を動かす、反芻する、尻尾を振る
  • 個人の活動は、歩く、立つ、休む、食べる、寝る、立つ、横になる、身だしなみ
  • グループ活動は、喧嘩、餌やり、社交的ななめ合い、マウンティングなど

処理の流れ

image.png

結果

  • YOLOv5xによって95.3%の識別を実現

6. Deep Learning-based Cattle Activity Classification Using Joint Time-frequency Data Representation

発行年月

2020年11月

論文概要

  • Table 1にセンサーの研究がまとまっている

I/O、データ概要

加速度センサを使用
image.png

処理の流れ

image.png

結果

image.png

7. Industry 4.0 and Precision Livestock Farming (PLF): An up to Date Overview across Animal Productions

発行年月

2022年6月

論文概要

  • 精密畜産についてまとめた論文
  • 牛における精密畜産の大分

識別および追跡システム
自動搾乳システム
発情検知
病気の検出
動物のパフォーマンスと飼料の監視

8. Livestock Monitoring with Transformer

発行年月

2021年11月

論文概要

  • TransformerベースのモデルSTARFORMERの適用事例
  • 屋内カメラで豚の行動と個体の識別
  • 行動識別と画像分割同時にモデルをトレーニングする
  • COCOデータセットで事前訓練させたResNet-101 DETRモデルを使用

処理の流れ

image.png

結果

image.png

マルチモーダルな入力について

9. LIGHTWEIGHT TRANSFORMERS FOR HUMAN ACTIVITY RECOGNITION ON MOBILE DEVICES

発行年月

2022年9月

論文概要

  • 加速度×角速度
  • 6種類の行動状態を識別(立つ、座る、歩く、自転車、昇、降)
  • 2つのモダリティを1モデルに入力することができる
  • 5つのベンチマークでSoTAを達成
    image.png

10. CLIP: Connecting text and images

発行年月

2021年2月

論文概要

  • CLIPはContrastive Language–Image Pre-training
  • 自然言語×画像
  • VQAの為、2つの情報から精度を高めるという目的とは異なる
  • プロンプトに繊細である
  • 抽象的、体系的、複雑なタスクは困難
    image.png
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?