非商用目的ならば利用できる顔データセットについてのリストを作成しました。
ここでは、表情のデータを含むもの（＝表情のアノテーションが含まれているもの）に着目してリストを作りました。
顔表情の分類としてはEkmanの分類が知られており、その分類にそったアノテーションが含まれているものが最近は増えています。
チェックポイント
- Ekman の分類（怒り・嫌悪・恐れ・幸福感・悲しみ・驚き）にそった分類かどうか？
- 人物ごとに各表情をもつデータセットかどうか？
- 人物ごとに各表情をもつ場合には、表情の変化がある場合の顔照合の評価ができる。
- コントロールされた撮影データか、自然なふるまいからのデータかどうか？
- 嫌悪や悲しみなどの表情を、コントロールされた撮影データだと、自然な状態での悲しみと違いそうである。
- 被写体の人物の多様性
- 年齢・性別
- 人種
私見：本当は人種などという言葉を使いたくない。地域・集団によって身体的な特徴に違いあるのに対するいい表現がほしい。
表情のデータを含むもの
| name (url) | Ekmanの分類かどうか | 人物IDを含むかどうか | 制御された撮影である | 特徴 | 論文 |
|---|---|---|---|---|---|
| Affectiva-MIT Facial Expression Dataset (AM-FED) | No | 人物ごとの動画 | No, 自発的な表情 | Facial Action を含む。 | Daniel McDuff |
| AffectNet | Yes | _ | No, ネットからの収集 | AffectNet is about 120GB | Ali Mollahosseini, |
| Real-world Affective Faces Database | Yes, 細分化 | No | No | 特徴 | Shan Li |
| Amsterdam Interdisciplinary Centre for Emotion (AICE) | Yes | yes | Yes | 特徴 | 論文 |
| CHILD AFFECTIVE FACIAL EXPRESSION SET (CAFE) | Yes | _ | Yes | 100人以上の子ども | 論文 |
| FG-NET Database | Yes | Yes | Yes | 特徴 | 論文 |
| Japanese Female Facial Expression (JAFFE) Dataset | Yes | Yes | Yes | 日本人女性 | 論文 |
| MMI Facial Expression Database | _ | 人物IDを含むかどうか | Yes | facial Action | 論文 |
| UTKFace | _ | No | No | 特徴 | 論文 |
| KOKORO RESEARCH CENTER (KRC) FACIAL EXPRESSION DATABASE | Yes | Yes | Yes | 日本人 | 論文 |
| FERV39k: A Large-Scale Multi-Scene Dataset for Facial Expression Recognition in Videos | Yes | _ | _ | 動画 | 論文 |
AIST顔表情データベース2017
本データベースは、国立研究開発法人産業技術総合研究所人間情報研究部門にて取得した8名の日本人の顔表情データと、39名から取得した顔表情の心理評定データで構成されています。
本データベースの特色は、１）正面顔を含む左右5方向からの撮影、２)中性顔を含む12種類の感情表出、３）動画とその最大表出を示した静止画、４）全員日本人モデル、となっています。
購入可能な表情ありの顔データセット
商用でも利用可能なもの
表情データセットの課題
- Ekmanのデータセットを意識して、同一人物に複数の表情があるデータセットでは、顔向きが正面に限られる場合が多い。
- Ekmanのデータセットを意識して、同一人物に複数の表情があるデータセットでは、自然な表情ではなく、人為的な表情になりがちである。（例：嫌悪、怯えている などでは自然な表情っぽい表情を作るのが難しい）
- 自然な表情の顔データにアノテーションを追加する流儀では、同一人物に対して、７通りの表情を用意することが難しい。
- 自然な表情の顔データにアノテーションを追加する流儀では、特定の表情では、元となる画像・動画自体が、web上で見つけにくい。
- （嫌悪・怯えている顔の画像よりも笑顔の写真を公開するよね。）
- 被写体の人物の多様性の問題
- 多くのデータセットが２０歳前後〜６０歳に年齢分布が偏っている。
- 例： 後期高齢者の表情判定は難しい。
- （嫌悪・怯えている顔の画像よりも笑顔の写真を公開するよね。）
日本人高齢者表情データベース
pdf 日本人高齢者表情データベース構築のための感情ラベリングに基づく分析
参加者は前述の通り日本人高齢者 111 名 (男性 56 名，女性 55 名，年齢:73.2±4.6 歳) である．参加者は 60 代から 80 代の男女で，演劇経験などを問わず募集し，日常生活に支障の無い視力，聴力，歩行能力，言語能力を有し，日本語を母国語とし，顔表情の取り扱いおよび公開に関する同意事項に同意いただける方とした．参加者には，実験内容と撮影方法に加え，収集した顔画像の取り扱いに関して，研究機関等の申請に基づいて研究・開発用途に限定して利用することができ，個人が識別できるデータの一般への公開はしないことを誓約する文書を取り交わした上で第三者に提供する旨の説明を行い，同意を得た．
連絡先：上記のpdf 中に記載があります。