AIコーディングツールを使っていると、エラーメッセージやログ、コード、ドキュメントなどをスクリーンショットで渡したくなることがあります。
ただ、スクリーンショットを何枚もそのままAIに送ると、必要以上に画像データを処理することになります。
そこで、スクリーンショットを先にOCRでテキスト化してから、必要なテキストだけAIに渡すという方法が使えます。
問題
例えば、以下のようなスクリーンショットを10枚ほどAIに渡すケースです。
- エラーメッセージ
- ターミナルのログ
- ソースコード
- 設定ファイル
- ドキュメント
- デバッグ結果
実際にAIに必要なのは、スクリーンショットそのものではなく、画像の中に含まれているテキストである場合が多いです。
そこで、OCRを使って先にテキストを抽出します。
Fuji OCRを使った方法
私はこの用途で Fuji OCR というChrome拡張機能を使っています。
Fuji OCRの特徴は、OCR処理をWebAssemblyを使ってローカル環境で実行することです。
つまり、
スクリーンショット → Fuji OCR → テキスト抽出 → AI
という流れにできます。
OCR処理のためにスクリーンショットを外部のOCRサーバーへ送信する必要がないため、データをローカルで処理したい場合にも便利です。
実際のワークフロー
例えば、10枚のスクリーンショットがある場合、
従来
10枚の画像 → AI
Fuji OCRを使う場合
10枚の画像 → Fuji OCR → 必要なテキストだけ抽出 → AI
という形にできます。
AIには画像全体ではなく、問題解決に必要なテキストだけを渡せます。
メリット
この方法にはいくつかメリットがあります。
- 不要な画像データをAIに渡さなくてよい
- 画像入力によるトークン消費を抑えられる可能性がある
- 必要なテキストだけをAIに渡せる
- OCR処理をローカルで実行できる
- スクリーンショットを外部OCRサーバーに送信せずに処理できる
特に、開発中のエラーログ、ソースコード、社内情報、設定情報などを扱う場合、ローカルOCRはプライバシー面でもメリットがあります。
AI × OCRのシンプルな使い方
個人的には、以下のようなワークフローがシンプルだと思います。
Screenshot
↓
Fuji OCR
↓
Local OCR
↓
必要なテキストだけ選択
↓
AI Coding Assistant
↓
回答・デバッグ
スクリーンショットを大量にAIへ渡している人は、一度この方法を試してみると面白いと思います。