Kaggle で Deepfake Detection Challenge が行われています(31 Mar/2020 まで).
略して DFDC です.
2019/12/11 に完全な(full)データが公開されました(取得には Kaggle アカウントと Terms of use への同意が必要です)
データセット
データは zip で 472 GB ありますが, 実バイト数は 500 GB(100010001000 換算)あります. 中身はほぼ mp4 で, 展開してもデータサイズは 500~600 GB に収まるかとは思いますので, 1 ~ 2 TB くらいのディスク容量は必要かと思います.
(Gen4 な NVMe SSD が理想(4~5 GB/s)なところですね)
json に, mp4 が fake か real かの情報があります.
ちらっとみた限りでは, fake とすぐわかるものもあれば, 人間の目からは見分けがつかないものもあります.
動画ブラウザ + 画像 diff(idiff https://openimageio.readthedocs.io/en/latest/idiff.html or perceptual diff https://github.com/myint/perceptualdiff あたりを使って) がほしくなりますね.
関連研究
Kaggle の Discussion Forum に逐次いろいろポストされていますが, 公開されているものとしては,
faceswap
は DFDC に使えると便利そうですね.
チャレンジ方針
とりあえず FaceForensics++ 論文を読んでからどうするかですが, 画像の差分(シェーディングの差分, 幾何的な差分, etc)や生物学的な差分に加え, 音声と動画の差異も活用することになりそうですから, VisemeNet https://arxiv.org/abs/1805.09488 など, 音声 + facial landmark なども考慮するとよさそうかしらん.
Kaggle の forum でいろいろ情報交換もされていますね.
役立ちそうな情報
Liveness Detection with OpenCV
https://www.pyimagesearch.com/2019/03/11/liveness-detection-with-opencv/
単一顔画像からの 3D 復元 Deep3DFaceReconstruction を試す(2019 年 9 月 7 日)
https://qiita.com/syoyo/items/6d911c598c5ee670d3b8
Modeling and Animating Eye Blinks
https://vimeo.com/157517464