問題

例えば、以下のようなスクリーンショットを10枚ほどAIに渡すケースです。

実際にAIに必要なのは、スクリーンショットそのものではなく、画像の中に含まれているテキストである場合が多いです。

そこで、OCRを使って先にテキストを抽出します。

Fuji OCRを使った方法

私はこの用途で Fuji OCR というChrome拡張機能を使っています。

Fuji OCRの特徴は、OCR処理をWebAssemblyを使ってローカル環境で実行することです。

つまり、

スクリーンショット → Fuji OCR → テキスト抽出 → AI

という流れにできます。

OCR処理のためにスクリーンショットを外部のOCRサーバーへ送信する必要がないため、データをローカルで処理したい場合にも便利です。

例えば、10枚のスクリーンショットがある場合、

10枚の画像 → AI

10枚の画像 → Fuji OCR → 必要なテキストだけ抽出 → AI

という形にできます。

AIには画像全体ではなく、問題解決に必要なテキストだけを渡せます。

この方法にはいくつかメリットがあります。

特に、開発中のエラーログ、ソースコード、社内情報、設定情報などを扱う場合、ローカルOCRはプライバシー面でもメリットがあります。

個人的には、以下のようなワークフローがシンプルだと思います。

Screenshot
    ↓
Fuji OCR
    ↓
Local OCR
    ↓
必要なテキストだけ選択
    ↓
AI Coding Assistant
    ↓
回答・デバッグ

スクリーンショットを大量にAIへ渡している人は、一度この方法を試してみると面白いと思います。