Qiita Teams that are logged in
You are not logged in to any team

Log in to Qiita Team
Community
OrganizationAdvent CalendarQiitadon (β)
Service
Qiita JobsQiita ZineQiita Blog
Help us understand the problem. What is going on with this article?

Google製自動動画クロッピングツールAutoFlipを試す

More than 1 year has passed since last update.

Google製のAutoFlipに彼女は?年収は!?調べてみました!
日課のウェブサーフィン中に面白そうな記事を見つけたので軽く動かして遊んでみます

autoflipとは

AutoFlipは、MediaPipe(GoogleのMLパイプラインフレームワーク)上に構築された自動クロップパイプラインです。(和訳)

アスペクト比が異なる端末などで再生する際に、自動で重要そうな部分だけクロップしてくれるしてるツールです。
以下の例のように重要箇所だけを対象に追従してクロップしてくれます。
autoflip_edited_example.gif

ビルド

MediaPipeの導入はここを参考にしてください

mediapipe Installing on macOS

macOSでの導入方法です

1.準備

2.gitリポジトリの取得

bash
$ git clone https://github.com/google/mediapipe.git
$ cd mediapipe

3.Bazelのインストール

bash
$ brew install https://raw.githubusercontent.com/bazelbuild/homebrew-tap/f8a0fa981bcb1784a0d0823e14867b844e94fb3d/Formula/bazel.rb
$ brew link bazel

4.OpenCVとffmpegコーデックのインストール

$ brew install opencv@3
$ brew uninstall --ignore-dependencies glog

5.Python3とsixライブラリーのインストール

bash
$ brew install python
$ sudo ln -s -f /usr/local/bin/python3.7 /usr/local/bin/python
$ pip3 install --user six

6.ハロワ

bash
$ export GLOG_logtostderr=1
$ bazel run --define MEDIAPIPE_DISABLE_GPU=1 \
      mediapipe/examples/desktop/hello_world:hello_world

自分はcd mediapipeとglog依存のアンインストールのし忘れで何度か失敗したので気をつけてください

autoflipのビルド

bash
$bazel build -c opt --define MEDIAPIPE_DISABLE_GPU=1 mediapipe/examples/desktop/autoflip:run_autoflip

動かしてみる

NHKクリエイティブ・ライブラリーから落とした動画で動作確認していきます。きちんと受信料納めてるのでもらえるものはもらっていきます。

bash
GLOG_logtostderr=1 bazel-bin/mediapipe/examples/desktop/autoflip/run_autoflip \
  --calculator_graph_config_file=mediapipe/examples/desktop/autoflip/autoflip_graph.pbtxt \
  --input_side_packets=input_video_path=/absolute/path/to/the/local/video/file,output_video_path=/absolute/path/to/save/the/output/video/file,aspect_ratio=1:1

aspect_ratioの値を変えることで出力ファイルのアスペクト比を調整できます。
今回は現行のiPhoneのアスペクト比に合わせ9:19.5で出力しました。
1枚目がオリジナルの動画,2枚目がautoflipでクロップした動画です。

ストリートバスケット

video_3.gif
auto_video_3.gif

雪の林のキタキツネ

video_2.gif
auto_video_2.gif

巨大トカゲ・コモドドラゴン 大きな口を開けて

video_1.gif
auto_video_1.gif

gifを圧縮するのに結構苦戦したので良い方法教えていただけるととても喜びます

まとめ

いかがでしたか?Autoflipを使うといい感じの動画をいい感じに生成してくれることがわかりましたね!
よければシェアいいねよろしくお願いします!それでは楽しいエンジニアライフを!

人間以外には使えないと思ってたのですが、動物や無機物までなんでもイケるのほんとにすごいですね。

TiktokやByteみたいなスマホで見るショートビデオサービスやインスタのストーリー等が主なユースケースになるのでしょうか。自分はよくクラブやライブでブースと演者を撮る機会があるので、各種SNSへ上げるのに役立ちそうな気がします。映え〜。

キャプチャしたアニメやゲームプレイなどでも試してみたい...iphoneから各種SNSへシェアできるアプリでも作ろうかなぁ。

See the Pen NHK by ebifly (@ebifly) on CodePen.

参考

Gizmodo Japan:動画のアスペクト比を瞬時に変更するGoogleの神ツール「AutoFlip」
(https://www.gizmodo.jp/2020/02/google-autoflip.html)

AutoFlip: An Open Source Framework for Intelligent Video Reframing
(https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html)

GitHub:Installing MediaPipe
(https://github.com/google/mediapipe/blob/master/mediapipe/docs/install.md)

GitHub:AutoFlip_MediaPipe
(https://github.com/google/mediapipe/blob/master/mediapipe/docs/autoflip.md)

NHKクリエイティブ・ライブラリー
(http://www1.nhk.or.jp/archives/creative/)

NHKのアレをCSSとHTMLで再現してみた
(https://ebifry.jp/css/nhk-css/)

Kiichi_Hamanaka
元自Excelねねっち
Why not register and get more from Qiita?
  1. We will deliver articles that match you
    By following users and tags, you can catch up information on technical fields that you are interested in as a whole
  2. you can read useful information later efficiently
    By "stocking" the articles you like, you can search right away