個人開発でWindows向けのデスクトップアプリ（C# / .NET）を作っていると、機能の実装と同じくらい頭を悩ませるのが 「リリース後のマニュアル・ドキュメント作成」 です。
- スクリーンショットを1枚ずつ撮る
- ペイントツールで赤枠や矢印をチマチマ入れる
- 画像を並べて手順の文章を考える
- パラメータの解説表を一から作る
「せっかくアプリ本体は完成したのに、ドキュメント作りのハードルが高すぎてリリースが億劫になる……」
そんな開発者の永遠の悩みを解決すべく、「画面キャプチャ × マルチモーダルAI」によるマニュアル自動生成ワークフローを検証してみました。
結論から言うと、テキストやパラメータ表の生成は神がかっていましたが、画像への「自動赤枠オーバーレイ」で盛大に泥沼化しました。その試行錯誤の記録です。
今回使用したツール構成
-
ClickCapture（自作ユーティリティ）
- ポータブルで動作するWindows向けの軽量画面キャプチャツール。
-
マウスの左クリックと自動連動してクリックした瞬間をサクサク連続キャプチャできるほか、
Ctrl + Dragで必要な領域だけを素早く切り抜くことも可能。
-
Robocopy Scheduler（自作ユーティリティ）
- 今回のマニュアルの題材。Windows標準の強力なファイルコピーコマンド「Robocopy」をGUIで管理・スケジュール実行できるアプリ。
-
Gemini Flash Lite
- 非常に高速で手軽に使えるマルチモーダルAI。画像の認識能力とコンテキスト理解が非常に優れている。
検証1：テキスト・パラメータ表・ステップ化の自動生成（大成功編）
まずは王道のアプローチから検証しました。
-
ClickCaptureの左クリック連動キャプチャを活用し、Robocopy Schedulerの設定フロー（ジョブ追加 ➔ コピー元/先指定 ➔ バックアップ方式 ➔ スケジュール設定 ➔ 保存）に沿って、クリックしながらテンポよく画面をキャプチャしていく。 - 枚数が多かったため前編・後編の2回に分けて画像を添付し、Gemini Flash Liteに以下のプロンプトを投げる。
入力プロンプト例:
「これらの画像をもとに、パラメータ表付きのセットアップ手順書を作成して。前半の画像を添付したので残りは次で添付します。セットアップ手順書はすべての画像が添付されてからPDFで生成してください。」
結果：たった2分でクオリティの高い手順書が完成
画像を送り終えてわずか2分足らずで生成された内容を確認したところ、以下の点が完璧にクリアされていました。
-
パラメータ表の自動構築: 画面上の
/MIRや/COPYALL /SECFIXといった専門的な設定値を正確に読み取り、「設定項目」「設定値」「概要・備考」の綺麗なテーブルとして整理されていた。 - ステップバイステップの構造化: 送った画像の順番に沿って、適切な見出しと解説テキストが構成されていた。
- 完了チェックリストの自動付与: ユーザーが設定漏れを起こさないためのチェックリストまで自発的に作成されていた。
「画像を撮って一言添えるだけで、手動なら1〜2時間は溶ける土台が数分で手に入る」という強力な手応えを得ました。
🟨 検証2：赤枠オーバーレイ（座標指定）による自動ハイライトの試みと限界（失敗編）
ベースのドキュメントがあまりにも綺麗に作れたため、調子に乗って次の欲が出てしまいました。
「せっかくなら、画像の中に『ここをクリック！』という赤枠のオーバーレイ（ハイライト）も自動で書き込んでくれたら、もっと初心者に優しい完璧なマニュアルになるのでは……？」
そこで、AIに追加でこう指示を出しました。
追加プロンプト:
「選択個所が分かりやすいようにオーバーレイで枠などを追加して初心者でもわかりやすいマニュアルにしてください。選択個所の枠はズレない様に細心の注意を払って生成してください。」
結果：絶妙なズレを見せる赤枠
結果どうなったか。肝心の赤枠は、狙ったボタンや入力欄から微妙にズレたり、文字の上に被さったりして、 「惜しい！そこじゃない！」 という絶妙な位置に鎮座していました。
現時点のマルチモーダルAIにとって、 「画像内のUI要素のピクセル座標を正確に計算し、意図通りの位置に綺麗な赤枠を上書き描画する」 というのは、まだかなりハードルが高いお題だったようです。
「全部を完全自動でワンボタン完結させるのは、まだ少し早いな……！」という、いい意味での限界（失敗談）を味わうことになりました。
まとめ：AI自動化の「境界線」
今回の検証を通じて、個人開発におけるドキュメント作成の効率化における「AIの得意・不得意の境界線」がはっきり見えてきました。
-
AIに任せるべき領域（大得意）
- 画面画像からのパラメータ読み取り・構造化（テーブル化）
- 手順のステップ化、解説テキストの生成
- チェックリストなどの付加価値の作成
-
人間が介入すべき領域（現状はまだ人間がやるべき）
- 細かいビジュアルのレイアウト調整
- ピクセル単位の正確な赤枠・ハイライト加工
「ドキュメント作成がめんどくさくて開発が止まりがち……」という方は、完璧な自動化（ワンボタン全自動）を目指しすぎず、まずはテキストやパラメータ表の土台をAIに爆速で作らせるスタイルから取り入れてみるのがおすすめです！
今回登場した自作ツール
- 画面キャプチャツール: ClickCapture
- バックアップツール: Robocopy Scheduler