Google製自動動画クロッピングツールAutoFlipを試す

Google製のAutoFlipに彼女は？年収は！？調べてみました！
日課のウェブサーフィン中に面白そうな記事を見つけたので軽く動かして遊んでみます

autoflipとは

AutoFlipは、MediaPipe(GoogleのMLパイプラインフレームワーク)上に構築された自動クロップパイプラインです。(和訳)

アスペクト比が異なる端末などで再生する際に、自動で重要そうな部分だけクロップしてくれるしてるツールです。
以下の例のように重要箇所だけを対象に追従してクロップしてくれます。

##ビルド
MediaPipeの導入はここを参考にしてください

####mediapipe Installing on macOS

macOSでの導入方法です

1.準備

• Homebrewをインストール
• Xcodeをインストール

2.gitリポジトリの取得

bash

$ git clone https://github.com/google/mediapipe.git
$ cd mediapipe

3.Bazelのインストール

bash

$ brew install https://raw.githubusercontent.com/bazelbuild/homebrew-tap/f8a0fa981bcb1784a0d0823e14867b844e94fb3d/Formula/bazel.rb
$ brew link bazel

4.OpenCVとffmpegコーデックのインストール

$ brew install opencv@3
$ brew uninstall --ignore-dependencies glog

5.Python3とsixライブラリーのインストール

bash

$ brew install python
$ sudo ln -s -f /usr/local/bin/python3.7 /usr/local/bin/python
$ pip3 install --user six

6.ハロワ

bash

$ export GLOG_logtostderr=1
$ bazel run --define MEDIAPIPE_DISABLE_GPU=1 \
      mediapipe/examples/desktop/hello_world:hello_world

自分はcd mediapipeとglog依存のアンインストールのし忘れで何度か失敗したので気をつけてください

####autoflipのビルド

bash

$bazel build -c opt --define MEDIAPIPE_DISABLE_GPU=1 mediapipe/examples/desktop/autoflip:run_autoflip

##動かしてみる
NHKクリエイティブ・ライブラリーから落とした動画で動作確認していきます。きちんと受信料納めてるのでもらえるものはもらっていきます。

bash

GLOG_logtostderr=1 bazel-bin/mediapipe/examples/desktop/autoflip/run_autoflip \
  --calculator_graph_config_file=mediapipe/examples/desktop/autoflip/autoflip_graph.pbtxt \
  --input_side_packets=input_video_path=/absolute/path/to/the/local/video/file,output_video_path=/absolute/path/to/save/the/output/video/file,aspect_ratio=1:1

aspect_ratioの値を変えることで出力ファイルのアスペクト比を調整できます。
今回は現行のiPhoneのアスペクト比に合わせ9:19.5で出力しました。
１枚目がオリジナルの動画,2枚目がautoflipでクロップした動画です。

####ストリートバスケット


####雪の林のキタキツネ


####巨大トカゲ・コモドドラゴン　大きな口を開けて

gifを圧縮するのに結構苦戦したので良い方法教えていただけるととても喜びます

##まとめ
いかがでしたか？Autoflipを使うといい感じの動画をいい感じに生成してくれることがわかりましたね！
よければシェアいいねよろしくお願いします！それでは楽しいエンジニアライフを！

人間以外には使えないと思ってたのですが、動物や無機物までなんでもイケるのほんとにすごいですね。

TiktokやByteみたいなスマホで見るショートビデオサービスやインスタのストーリー等が主なユースケースになるのでしょうか。自分はよくクラブやライブでブースと演者を撮る機会があるので、各種SNSへ上げるのに役立ちそうな気がします。映え〜。

キャプチャしたアニメやゲームプレイなどでも試してみたい...iphoneから各種SNSへシェアできるアプリでも作ろうかなぁ。

See the Pen NHK by ebifly (@ebifly) on CodePen.

##参考
Gizmodo Japan:動画のアスペクト比を瞬時に変更するGoogleの神ツール｢AutoFlip｣
(https://www.gizmodo.jp/2020/02/google-autoflip.html)

AutoFlip: An Open Source Framework for Intelligent Video Reframing
(https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html)

GitHub:Installing MediaPipe
(https://github.com/google/mediapipe/blob/master/mediapipe/docs/install.md)

GitHub:AutoFlip_MediaPipe
(https://github.com/google/mediapipe/blob/master/mediapipe/docs/autoflip.md)

NHKクリエイティブ・ライブラリー
(http://www1.nhk.or.jp/archives/creative/)

NHKのアレをCSSとHTMLで再現してみた
(https://ebifry.jp/css/nhk-css/)