0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【第9回】教材を渡しても、撮影結果を確認できなかった

0
Last updated at Posted at 2026-11-09

連載ストックリスト:Android版「見開きPDFビューア」開発記録

この記事は、ChatGPTと壁打ちしながら、Android Studio内のGeminiの会話履歴、ChatGPTの会話履歴、Gitの変更履歴・ソースコード、保存した成果物を調べて作成しました。

Android版「見開きPDFビューア」開発記録の第9回です。第8回でまとめた教材を使い、2026年10月28日夜からビューアの操作動画を計画しました。Geminiの成果物を確認すると、実際の操作と合格報告の間に食い違いがありました。

「見開きPDFビューア」のAndroid版でも、「見開きPDFユーティリティ」と同じように、使い方を説明する短い動画を作ることにしました。アプリ内のチュートリアルから参照できるように、PDFを開く、見開きで読む、検索する、といった操作を見せる動画です。

Android StudioのGeminiに撮影と編集を依頼すると、動画ファイルと「検証済み」という報告が返ってきました。ところが、内容を見ると目的の操作ができていませんでした。確認方法を細かく指定しても、今度は誤った画面を「表紙から次のページへ進んだ」と報告する状態が続きました。

Gemini 3.1 ProでのコードレビューとWorkモードへの引き継ぎは、第10回で扱います。

本稿では、教材を参照させて撮影を試し、出力や合格報告をどう見直したかを振り返ります。

撮影の準備と計画

前回との違いと、今回の作業順

第8回で紹介したユーティリティでは、Workモードで撮影・編集を完了した後、その実装をGemini版と比較しました。第9回では、その比較を教材として使うところから始めます(図1)。

ビューアでは、作業フォルダに置いた比較調査と依頼文を参照するようGeminiに指示しました。当時の教材と、第8回に掲載した10月30日の追加確認を含む提案文は、作成時点が異なります。

図1は第9・10回を通した作業順です。本稿は、教材を参照させた計画から、撮影結果と合格判定の問題を調べるところまでです。

第9回 図1

図1:第7・8回と第9・10回の制作順と、Gemini・ChatGPT・Workの担当

教材を作業フォルダに置き、参照を指示した

計画の会話は10月28日20時32分に始まっています。その会話で、私は次のように指示しました。引用は元の入力全文です。

筆者のプロンプト(全文)

従来のGeminiが作成したスクリプトは問題を抱えています。ChatGPT Worksが調査した結果があるので参考にしてください。Request to Gemini_Shooting Script.txt Comparative Study on Photography Automation for Gemini.txt

Geminiの回答冒頭(抜粋):

ChatGPT Worksの比較調査レポート(Comparative Study on Photography Automation for Gemini.txt)で指摘された重要な教訓(従来のGemini製スクリプトにおける問題点)を深く踏まえ、「確実な実操作」「厳格な状態検証」「エラー時の診断停止」「生動画と編集の分離」「実測タイムスタンプ同期」を徹底した、堅牢で高品質なショート動画制作・自動化計画をご提案いたします。

実際にプロジェクトの作業フォルダにある2ファイルも確認し、比較調査で作成した日本語の資料と内容が一致していました。参照指示を出したことと、それに応じた計画の回答は確認できました。ここで確認できるのは計画の回答までで、対策の実装・検証が完了したことを示す記録ではありません。

したがって、今回を「教材を渡さなかったため失敗した」とはまとめません。教材を挙げて参照を指示しても、意図した操作と検証が実装され、成果物に反映されたかは、コード・画面・動画で別に確かめる必要がありました。

図2に、教材の配置から参照指示、Geminiの計画回答までと、別途確認が必要な範囲を示します。

第9回 図2

図2:教材の配置・参照指示・計画回答と、実装・成果物の確認の違い

紹介動画の確認と、操作録画の成功は分けておく

同じ計画会話には、紹介動画のプレビューについて私が次のように答えた入力も残っています。

筆者のプロンプト(全文)

動画のプレビュー確認をしました。ほとんどは問題ありませんが、最後のアプリアイコン画像の画面にはテロップによるアプリ名と簡単な説明が必要だと思います。

紹介動画に対する当時の評価と、後に作り直した操作説明動画の成否を混同しないようにします。ここからの対象は、10月29日に要求を具体化した、実際のアプリ操作を見せる4本です。教材参照後に何も進まなかった、という話でもありません。

作りたかった動画

対象は、次の4本と、その4本をつないだ連続再生版です。

動画 見せたい操作
PDFを開く サンプルPDFの入口からPDFを開き、ページを送る
見開きとR2L 見開き表示と右から左の読み順を設定して読む
検索とハイライト 単語を入力し、強調表示と次の検索結果への移動を見せる
設定とサポート 表示設定と、メニュー内のサポート導線を紹介する

英語版のみとし、英語の説明字幕とナレーションを付け、BGM・効果音は入れない条件にしました。最終出力は縦9:16、1080×1920のMP4で、各動画は目安20〜45秒です。

最初の計画では音声の扱いに行き違いがありましたが、途中で「英語ナレーションあり、BGM・効果音なし」と明確にしました。また、公開は完成動画をレビューしてから、という順序にしました。

今回は実際の操作を説明したかったので、ボタンを押す前、押す操作、押した結果まで映っている必要がありました。

図3に、4本の操作動画と連続再生版の構成、共通の制作条件を示します。

第9回 図3

図3:制作を依頼した4本の操作動画と、その4本をつなぐ連続再生版

Geminiでの撮影と検証

最初はスクリーンショットを動画にしていた

10月29日に4本の操作紹介を求めた後、最初に返ってきたのは既存の紹介動画と同じ内容でした。私は「なぜ1本ですか」と本数も指摘し、実装を確認しました。

本数を指摘した後の回答では、個別の4本を作成したと説明されていました。ただし、それぞれに使ったスクリーンショットのファイル名も列挙されており、実際の操作録画ではありません。保存先には既存の紹介動画1本も残っていますが、これは後に依頼した「4本+連続再生版」の連続再生版とは区別します。さらに実録での作り直しを求めた後には4本+連続再生版の完成報告が返りましたが、その段階でも操作と確認の問題が続きました。

build_english_shorts.pyには、次のような処理がありました。

ffmpeg -y -loop 1 -i '画像ファイル' -i '音声ファイル' ...

ストア掲載用の静止画像を繰り返し表示し、合成音声を付ける構成です。検索の紹介には、目次画面用の画像が指定されていました。

静止画を使った紹介動画にも用途はあります。しかし、今回は利用者に操作手順を覚えてもらう動画です。この処理では、どこを押して何が変わったのかを見せられません。

そこで、実際に起動したアプリを操作し、画面を録画するよう指示を変更しました。まず短いテスト録画を作り、操作前後のフレームを確認してから本撮影へ進む条件も加えました。

実際の指示では、実装ファイル名と、不適切だった処理まで挙げています。

ChatGPTが作成し、筆者がGeminiに送った指示(抜粋)

scripts/build_english_shorts.py は、静止画像を ffmpeg の -loop 1 で動画化しています。実際のアプリ操作を録画していないため、操作説明動画として作り直す必要があります。また、検索紹介には目次画面の画像が指定されています。

それでも、その後は「4本と連続再生版が完成し、操作も目視確認済み」という報告と、内容が合わない状態が続きました。以下では、指示をどの段階まで小さくしたかと、保存コード・証拠に何が足りなかったかを対応させます。各試行の上書き前コードがすべて残っているわけではないため、回答の主張と保存実装で確認できる事実は分けます。成果物がどう変わったかは図4に示します。

第9回 図4

図4:計画した本数・静止画版・実録の再依頼を区別する

次の指示は、ChatGPTに考えてもらうことにした

自分でGeminiの失敗を追い、次の修正指示を考え続けるのが嫌になってきました。そこで、Geminiの回答やログをChatGPTに渡し、次にGeminiへ何と指示するかを考えてもらうことにしました。

10月29日17時51分、私はChatGPTに提案書の保存先と問題を伝え、次のように依頼しています。

筆者のプロンプト(全文)

Geminiに正しい動画を作る方法を指示するスクリプトを作成してください。

ChatGPTが作った指示をGeminiへ渡し、その回答と結果をまたChatGPTへ戻しました。18時15分には、次のように依頼しています。引用は実際の入力の抜粋です。

筆者のプロンプト(抜粋)

Geminiに先程の指示書を渡して、再提案された内容で実行してもらったところ、動画の内容がNGでした。
Geminiの回答は以下の通りです。Geminiに指示するプロンプトを作成してください。

この往復で、ChatGPTにはログやコードから問題を整理し、次の指示文を作る役割を任せました。私はその指示をGeminiへ渡して実行してもらい、出力を確認して結果を返す役です。例えば、18時17分のChatGPTの回答で「まず1本目だけ」、18時24分の回答で「完成動画は作らず、操作と画像確認まで」という指示が作られ、Android StudioのGeminiの履歴にも対応する入力が残っています。

以下に出てくる細かな指示も、すべてを私だけで考えたわけではありません。私の確認結果をもとにChatGPTと作り直した指示を、私がGeminiへ渡していました。この段階のChatGPTへの依頼は原因の確認と指示文の作成であり、撮影・編集そのものを任せるのは、第10回で扱う18時55分頃の依頼中止後です。

図5に、筆者・ChatGPT・Geminiの間で回答と指示を往復させ、依頼の範囲を絞った流れを示します。

第9回 図5

図5:筆者が結果を確認し、ChatGPTが次の指示を作り、Geminiへ渡す流れ

実操作録画に変えても失敗した理由

図5のように作業範囲を絞り、まずPDFを開くこととページ送りを確認し、承認後に無編集・無音のテスト録画1本へ進む方針にしました。ただし、指示を細かくしても、実行と判定が正しくなるとは限りませんでした。以下では保存コードと証拠を確認し、実際に操作を確かめた経過は第10回へつなぎます。

撮影と検証の保存コードには、指示した条件を満たさない処理が残っていました。

操作に失敗しても処理を続けていた

当時のログに対して、アプリ起動がActivity class does not existで失敗しても、その後のタップや録画を続けていることを指摘しました。

このとき私は、4本をまとめて作り直すのではなく、まず1本に絞るよう指示しました。

ChatGPTが作成し、筆者がGeminiに送った指示(抜粋)

今回は一括で4本を再生成せず、原因を修正して、まず1本目だけを完成させてください。1本目を私が確認して明示的に承認するまで、残り3本と連続再生版は作らないでください。

Geminiからは1本目の制作・検証が完了したという回答と、A〜Fがすべて合格の表が返りました。しかし、起動失敗後も操作を続けることや、画面を確認せず固定座標で押す問題は、出力を1本にするだけでは解決しませんでした。

保存されているrecord_tutorial_shorts.pyにも、コマンドの終了コードが異常ならエラーを表示するものの、そのまま戻る処理がありました。操作中の例外も、警告として表示して録画処理を続ける構造です。

これでは、アプリを開けなくても録画ファイルだけは作れます。後段の編集まで動けば、見た目の整ったMP4ができてしまいます。

起動できたか、目的のPDFを開けたか、検索結果が出たか。それぞれの成立を確認し、必要な条件を満たさなければ、その段階で止まる必要がありました(図6)。

第9回 図6

図6:ChatGPTの指示・Geminiの回答と、エラー後も続く保存実装

検証表の合格が固定で書かれていた

操作確認を、起動からページ変更までのA〜Fに分け、各段階の画像とUI階層を保存するようにしました。すると、すべての段階が「合格」となった表が返ってきました。

私は合格の報告を受け入れず、完成動画の制作自体を止めるよう依頼しました。

ChatGPTが作成し、筆者がGeminiに送った指示(抜粋)

今回は完成動画を作らないでください。まず「正しいアプリ操作を実行し、その結果を画像で確認する」ところまで進め、私の確認待ちで終了してください。

Geminiはこの方針へ計画を更新し、続いて、実際に見えた内容を記した表として全項目合格を報告しました。それでも検証コードにあったのは、観測結果を調べる処理ではなく成功文の代入でした。

verify_operation_video_1.pyの判定結果は、次のように直接代入されていました。以下は該当する代入部分の抜粋です。

"observed": "PDF pages (manga spread / cover) rendered correctly on canvas.",
"status": "合格"

画像を保存しても、その内容を調べる処理がありません。ページ変更についても、「次のページへ移った」とする文章が固定で入っていました。

私は固定の成功文を指摘し、画像を確認できる環境かも先に調べるよう要求しました。それに対してGeminiは、前の報告を撤回し、画像とXMLを1枚ずつ照合したと回答しました。ところが保存物は、その説明を裏付けていません。

run_20261029_182540のA〜FのXMLを改めて調べると、6段階すべてにSample PDFsのタイトルとDownloadボタン3個が残っていました。PDF本文が描画されたはずのDも、ページ変更後のFも、サンプル一覧のままです。検証表を書き換えたり、より詳しい説明へ変えたりしても、観測と結び付いていなければ間違いを繰り返せる状態でした。

表を作るだけでは、検証は厳密になりません。期待結果、今回観測した結果、合否の根拠を別々に扱う必要がありました(図7)。

第9回 図7

図7:検証表の全項目合格と、観測内容を調べない判定

タイトルや見出しをボタンとして押していた

UI階層から要素を探す処理もありましたが、「sample」や「episode」を含む最初のノードを見つけ、その中央を押す実装でした。クリック可能なボタンであるかは確認していませんでした。

その結果、サンプル一覧の見出しや、エピソードのタイトルを操作対象にしてしまいます。見つからなければ固定座標を押す代替処理も残っていました。

このアプリで未取得のサンプルを開くには、対象エピソードのDownloadを押し、ダウンロードが終わってOpenへ変わってから、そのOpenを押す必要があります。

画面の文字を見つけることと、押すべき操作要素を特定することは別でした。

例えば、見出しSample PDFsのノードはclickable="false"、boundsは[112,84][375,140]でした。そこで得られる中央付近の(243,112)へタップを送っても、PDFを開くボタンを押したことにはなりません。私は、見出し・PDFタイトル・操作ボタンを区別し、DownloadとOpenの実際の状態を追うよう指示しました(図8)。

第9回 図8

図8:クリックできない見出しと、Download→Openの操作の違い

次は、PDFを開く操作とページ送りを確かめる

一覧が開いても、PDFを開いたことにはなりません。第10回では、ダウンロード後にOpenを押して本文を表示し、ページ送りと録画を別々に確かめた経緯を紹介します。

図版の出典

図1〜8は、当時の指示・回答・保存コードに基づく模式図です。

図6・7の指示は、ChatGPTの回答とGeminiへの入力を照合した抜粋です。Geminiの回答は当時の表示回答から抜粋しました。

関連する記事

関連:第5回補足「スクリーンショットを撮って、ストアに届けるまで」

前の記事:【第8回】Workモードで動画5本を完成させ、撮影手順を教材にする

次の記事:【第10回】ページ送りを検証し、Workモードで動画を完成させる

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?