はじめに
以下の記事で書いていた、Gemini CLI関連の話です。
●Gemini CLI をさっそく試してみた！- Qiita
https://qiita.com/youtoy/items/fa5b696b055ed4a992ec
試した内容
【追記】 以下の動画は NG と出たのは、いくつかある使い方のうち、アカウントを連携させるやり方のみで試しました。他の API を使う方法（特に有償版を使う方法）は試せていないです
Gemini CLI に関する次のお試しで、「無理かな？」と思いつつ動画の入力を試してみたのですが、「受け付けられるのはテキストや画像のみ」という回答でした。
※ テキストファイル、画像ファイル（PNG、JPG、GIF、WEBP、SVG、BMP）、PDFファイルは読み取ることができる、という返答でした
※ 画像入力は JPEG画像で試したところ、中身を解説してくれました（以下のポストの 1つ目の添付内容）
それで、例えば「FFmpeg を組み合わせて、動画を画像にする処理を行った上で内容の解説をする」という依頼をしたらどうなるか、というのが気になって試してみました。
具体的には、「FFmpeg で動画の一部を、一定の間隔で画像として抽出して、その画像になった内容を解説してもらう」という内容です。また、それと同じような内容を Claude Code でも試してみました。
試した内容と結果
試した内容と結果を書いていきます。
なお、途中の様子を確認するために、都度、確認が入るようなやり方で進めています。
用いた動画
上記の内容を試すのに使った動画は以下です。ちょうど Mac のフォルダに置いてあったので、これを使いました。
ここでポストしていた動画のファイルを、Gemini CLI がアクセス可能な場所に置きました（「file」という名前のフォルダを用意して、そこにファイルを置きました）。
FFmpeg のセットアップ
Gemini CLI が FFmpeg をコマンドで使えるように、セットアップをしておきます。その方法の 1つとしては、以下の公式で掲載されている外部サイトから、バイナリをダウンロードしてパスを通す方法があります。
●Download FFmpeg
https://ffmpeg.org/download.html
また Mac で Homebrew を導入済みであれば、以下を brewコマンドでインストールできます（ brew install ffmpeg というコマンドにて）。
●ffmpeg — Homebrew Formulae
https://formulae.brew.sh/formula/ffmpeg
Windows でも Chocolatey などいくつかのパッケージマネージャー経由でインストールできます。
●Chocolatey Software | FFmpeg
https://community.chocolatey.org/packages/ffmpeg
プロンプト
試したプロンプトは 「fileフォルダ内の動画をffmpegコマンドで10秒ごとに画像にして、その画像を読み取って内容を解説して」 というものです。
37秒の動画だったので、3〜4枚ほどの画像が抽出されて、それに関する処理が行われるという想定でした。
処理の流れと結果
下準備と FFmpeg を用いた処理
上記のプロンプトを試した結果、最初に行われた処理はファイルの確認と画像を置くためのフォルダ作成です。
フォルダ作成は許可を求められ、それを許可すると、次は FFmpeg を使った処理の許可を求められました。
画像出力と画像の内容解説
その後は、FFmpeg の処理時の出力が出た後、画像に関する解説が始まりました。具体的には、以下の内容です。
解説の内容をテキストで取り出してみます。
- 1枚目の画像です。
- 左上には、男性がリングコンのようなものを両手で持っている映像が表示されています。右側には、黒い背景に、黄色い同心円状のグラフィックと、その周りにカラフルな光の粒子のようなものが表示されています。左下には、コードのようなものが表示されていますが、内容は一部しか見えません。
- 2枚目の画像です。
- 1枚目との違いは、右側のグラフィックです。同心円の色が黄色から水色に変化し、カラフルな光の粒子の位置も変わっています。男性の映像やコードの部分に大きな変化は見られません。
- 3枚目の画像です。
- 右側のグラフィックの同心円の色が、さらに緑色に変化しています。光の粒子の位置も、前の画像から変わっています。男性の映像やコードの部分に大きな変化は見られません。
- 4枚目の画像です。
- 右側のグラフィックの同心円が消え、代わりにピンク色の円が表示されています。カラフルな光の粒子は、その円の周りを漂うように表示されています。
- まとめ
- この動画は、男性がリングコンのようなものを操作することで、右側のグラフィックが変化する、という内容のようです。リングコンの動きに合わせて、同心円の色や光の粒子の動きがインタラクティブに変化している様子がうかがえます。左下のコードは、このインタラクションを制御しているプログラムの一部であると考えられます。
流れとしては、4枚の画像の個々の内容解説と、まとめというものになりました。詳細は、この後の部分で確認します。
画像の内容
この解説の元になった画像を確認しつつ、上記の説明の内容の確認も行ってみます。
まず、抽出された画像ファイルは 4つでした。
そして、それらの個々の画像の内容は以下でした。
先ほどの内容解説と照らし合わせてみます。
先ほどの 1枚目の画像に関する解説は、全体を説明されたものでしたが、内容は合っています。また2〜4枚目の説明は 1枚目との差分を説明していましたが、これも合っています。
最後に書かれていた全体のまとめも、説明が動画全体の内容と合致しているかと思います。
Claude Code で試した内容
Claude Code でも同じ内容を試してみたので、その概要を掲載してみます。
Gemini CLI ほどは詳細ではない、という感じの結果でした。
抽出された画像
ちなみに Claude Code で試した時は、画像は動画が置かれたフォルダと同じ場所に抽出されていました。
また、それぞれの画像の内容は、以下となっていました。
【その他】 Google AI Studio での動画の直接読み込み
Google AI Studio など、Gemini での動画の直接読み込みを試す方法があるので、それも比較用に掲載してみます。
以下のようにプロンプトはシンプルなもので試しました。
この結果として返ってきた内容は、以下のとおりです。
動画全体を見ているためか、Gemini CLI よりもさらに詳細な説明となっていました。
【追記】 7/13 の「Gemini CLI 初学者勉強会」というイベントで発表しました
7/13 に開催された「Gemini CLI 初学者勉強会」というイベントで、この記事の話をオンラインで発表してきました。
（このイベントの発表用のネタの候補として、この記事の内容を試していた流れでした）
発表後の質問・コメントで、あらためて動画入力まわりのところは、自分はアカウント連携でしか試してなく他の方法だとできる可能性があるかもしれないと思い、その話を記事内に追記しました。
オンライン登壇で使った資料
なお、その時の登壇資料は以下になります。
イベントのアーカイブ
あとイベント全体の動画アーカイブは、SNS などでも拡散可能という話が出ていたので、それも掲載します。
【追記2】 読み込めるファイル
Gemini CLI で読み込めるファイルについて、「Gemini CLI file system tools」の「2. read_file (ReadFile)」の部分に、以下の記載があるという情報をいただけたので追記しました。
※ 以下は 2025/7/14時点でキャプチャしたものです
↓こちらのポストで知りました。