はじめに

先日Ego-Exo4Dに関する記事を書いたため、Ego4Dの記事も書こうと思いました。

Ego-Exo4Dに関しては以下の記事を御覧ください

Ego4Dとは

世界74箇所、9か国で収集された、合計3670時間を超える日常的な動作を含む、一人称視点の大規模データセットとベンチマークである。
詳細は以下の動画や参考文献を御覧ください。

Ego4D論文Figure1より引用

Ego4Dのはじめ方

Start Here

大まかな流れは以下のようになります

公式サイトStart Hereにアクセス
https://ego4ddataset.com/ego4d-license/ からライセンスに同意
BenchmarkやAnnotationを読んで、データセットの概要を確認する
CLIをダウンロードする
CLIを用いてデータセットをダウンロードする

Ego4D License Agreement

以下のような画面が表示されるため、必要事項を入力し提出します。（英語で）
すぐに記入したメールアドレス宛に同意書が送られてくるので、サインを記入して、同意します。

通常48時間で承認されるそうです。（私もちょうど２日後にメールが来ていました。）
メールで承認の旨と、アクセスID、アクセスキーが送れられてくるので破棄しないように気を付けましょう。

Ego-Exo4Dをすでに登録している人へ
Ego4DとEgo-Exo4D、両方に同じ情報で登録しても何も問題ありませんでした。
一応別のキーが発行されますが、どちらを使用しても変わりは無い気がしています。

注意
ライセンスの認証情報は14日で期限が切れます。
期限が切れたら、再度申請を行う必要があります。同じ情報を入力した場合、すぐに承認されます。
また、アクセスキーは共有したり、Githubに公開しないように注意しましょう。

Browse The Dataset

承認されるまでの間にデータセットについて確認します。

Annotation
Videos
...
サイドバーのDataという欄に、データの種類ごとに詳細が記載されています。
ざっくりどのようなデータ形式かなどを確認したら、あとは使用する際によく読めば良いと思います。
Benchmark
Ego4Dはこれらの一人称視点のデータセットに対する、ベンチマークも公開しています。
これらのベンチマークに基づく、コンペティションがCVPR 2024でも開催されています。
Visualization Tool Document
Visualization Tool
可視化ツールのアクセスには承認後に発行されるアクセスIDが必要です
ログインすると以下のような一覧画面が表示されます。Ego4DとEgo-Exo4D両方に登録をした後右上のボタンからデータセットのバージョンを選択できるようになりました。
Ego4Dのみの登録だと、Ego-Exo4dが使えるかはわかりません。

Download The CLI

公式リポジトリ Ego4d/ego4d/cli/README.mdを参考に設定を行います。

install

pip install ego4d

awsにデータセットが置かれていて、ego4dを用いてデータをダウンロードする際に内部的にAWS CLIを使用しているようです。そのためAWS CLIの設定について書かれている欄について必ず設定を行ってください。

以下のQiita記事の「公式ドキュメント、リポジトリを読んだだけではわかりにくい点」という項目でAWSの設定方法を解説しています。これはEgo4DもEgo-Exo4Dで共通なので参考にしてください。

ダウンロード例

Ego-Exo4Dと比較すると、データのおおよそのサイズが記載されているため良心的です
かなり容量があるので、本当に使うデータセットに絞ってダウンロードするのが良さそうです。

ダウンロードの詳細やオプションもEgo-Exo4Dに比べて詳しく書かれているので公式ドキュメントを参考にしてください

実装

実装は以下のサイト等が参考になります。
Ego4DのコンペティションがCVPR2023で開催されていたため、それに関するものを探すと良い例が沢山見つけられると思います。

公式リポジトリのnotebook
「Ego4D Challenge 2023」の長期動作予測部門で、準優勝　- 研究開発 - パナソニックコネクト
Ego4D Challenge 2023のパナソニックコネクトによるコード
Ego4D Dataset | Paper with Code
Paper with Codeという論文とコードが一緒に探せるサイトのEgo4Dに関するもの

最後に

ここまでで解説は完了です。日本語での情報が殆ど無いため、公式ドキュメントを訳しながら自分で試したことを書いています。
私もこれからEgo4DやEgo-Exo4Dを触って行きたいと思います。
最後まで読んでいただきありがとうございました。Ego-Exo4Dの記事も書いているのでそちらも参考にしてみてください。