この記事は、以下のツイートで知った Scratch Lab で新しく提供されはじめた新ブロック、その 2種類あるうちの「Face Sensing Blocks」のほうを試してみた話について書いています。
さきほど、Scratch Labが公開されました。これは、新しい機能を追加する前に、それらを実際に動かして実験するための場所です。現時点では、Animated Text BlocksとFace Sensing Blocksが用意されています。日本語など他の言語への対応はまだ行われていませんが、使い方はなんとなくわかると思います。 https://t.co/W1sofdpRUP
— アベ先生 (CV: 阿部和広) (@abee2) February 2, 2021
2種類の新ブロックについて
冒頭のツイートで、引用ツイートされていた文章の中に、以下の URL が含まれていました。
●Scratch Lab: Extending Creative Possibilities and Play | by The Scratch Team | Feb, 2021 | Medium
https://medium.com/@scratchfndn/scratch-lab-extending-creative-possibilities-and-play-5b131cc4d9de
そしてページを開くと、いろいろと画像や説明などが掲載されていました。
中を見ていくと、テキストアニメーション用の「Animated Text Blocks」と、顔認識を使う仕組みになっている「Face Sensing Blocks」を試すためのエディタへの導線もありました。
●Animated Text - Scratch Lab
https://lab.scratch.mit.edu/text/
●Face Sensing - Scratch Lab
https://lab.scratch.mit.edu/face/
今回は、Face Sensing のほうを試しています。
Animated Text
今回の記事には出てこないほう、テキストのアニメーションを実現するためのものです。
https://lab.scratch.mit.edu/text/
Face Sensing
今回の記事でとりあげる、顔認識を使った仕組みのページは以下になります。
https://lab.scratch.mit.edu/face/
「Try it out」と書かれたボタンを押すと、エディタへと移動できます。
エディタを開くと、以下のようなブロックが用意されているのを確認できました。
内容を見てみると、以下のような仕組みを利用できるようです。
- スプライトを顔の特定の部分（鼻、頭の上、など）へ移動させる
- スプライトの向きを顔の傾きに合わせる
- 顔の大きさ（※顔がカメラに大きくうつっているか、小さくうつっているかに影響を受ける）にあわせてサイズを変える
- 顔が左右のどちらかに傾いた時を検知
- スプライトが顔の特定の部分に触れたことを検知
- 顔が検出されたことを検知
- 顔が検出されているかどうかのフラグ
- 顔の傾きの数値
- 顔のうつっている大きさの数値
作成したプログラム
今回のお試しでは、以下の機能のものを使ってみました。
- スプライトを顔の特定の部分（鼻、頭の上、など）へ移動させる
- スプライトの向きを顔の傾きに合わせる
- 顔が左右のどちらかに傾いた時を検知
- スプライトが顔の特定の部分に触れたことを検知
組んだブロックのプログラムは以下のとおりです。
実行結果
上記のブロックのプログラムを実行した結果は以下のとおりで、次のような挙動を確認できると思います。
- ネコのスプライトが口に触れた時、画面のどこかに移動する
- 顔が右に傾いた時に、ネコのスプライトが頭の上に移動する
- 緑の旗を押した後は、ネコのスプライトの傾きが、顔の傾きに合わせて変わる
@abee2 さんが投稿されていた Scratch Lab の件、テキストアニメーションと顔の認識を使うものの2つがあるうち、顔の認識を使うほうを試してみました。
— you (@youtoy) February 3, 2021
まずはサクッと試すために、実装した仕組みは3つ（使用ブロック7つ）です。@scratch #ScratchLab pic.twitter.com/UYJjpVDeRw
追記
Face Sensing の別パターン
さらに別パターンとして、頭の上の部分を広く当たり判定にするような仕組みを作ってみました。
@abee2 さんが投稿されていたScratch Labの件、またFace Sensingを使ってみました。
— you (@youtoy) February 8, 2021
動画の途中で当たり判定の部分を見えるようにしてますが、適当な矢印みたいな線を描き足したものがあり、それを顔の傾きや顔とカメラの距離の変化に合わせ、傾きや大きさが変わるようにしています。#ScratchLab pic.twitter.com/Rgy6JBhSEl
Face Sensing で常に頭の部分（「top of head」と指定する部分）に移動するようにしているボールのスプライトがあり、そのスプライトに手描きで線を描き足してます。
また、その線を含むスプライトの向きや大きさが、頭の傾きや、顔とカメラの距離（顔がうつる大きさ）に合わせて変わるようにしてます。
頭の部分に移動しているスプライトの、ブロックのプログラムはこんな感じです。
大きさを計算する部分は、以下のようなことをやって決めました。
- 顔とカメラの距離を、近づけたり遠ざけたりする
- 特定の距離にした状態で、スプライトの大きさの値を手動で変えて、ちょうど頭の上のサイズと同じになりそうな値を記録する
- 上記2 の状態で、変数 face size の値を合わせて記録する
- 上記2 と上記3 の値のペアを 2つか 3つとってみて、その値におおよそ当てはまりそう計算式を見つける（とりあえず、一次方程式にあてはめてみて、ざっくりな値を決めました）
顔の傾きは、変数の face tilt をそのままスプライトの傾きにすればちょうど良い感じでした。