はじめに
こんにちは、朝日新聞社メディア研究開発センターの杉野です。
有償のChatGPT Plusで画像アップロード機能(GPT-4 with vision)が使えるようになったので、紙の情報（例えばイベントチラシや学校行事のお便りなど）からGoogleカレンダーに予定を転記する方法を探ってみました。
準備１：ZapierプラグインでChatGPTとGoogleカレンダーを連携する
まずはブラウザのChatGPTにログインします。
次に、Zapierを使ってChatGPTとGoogleカレンダーを連携させます。以下の記事で丁寧に手順が解説されていますのでそれに従ってください。
注意：上記の記事にも注意書きがありますが、アクションを設定するとき、画面下の「Show all options」内でも設定が必要です。
「Show all options」をクリックしたら、以下の「Summary」「Description」「Location」などを「Have AI guess a value for this field」に設定します。そうすることで、読み取った情報からいい感じで予定の名前や場所情報、説明などを予定に設定してくれます。
ちなみに：試行錯誤していたら途中でZapierにログインできなくなるトラブルに遭遇。こちらの記事に従ってキャッシュをクリアしたりChatGPTへの再ログインを試みることで解決しました。
準備２：Custom instructionsの設定
Custom instructionsとは？
端的に言うと「ChatGPTに知っておいて欲しい前提条件」と「どのように応答して欲しいか？」をデフォルトで設定できる機能とのことです（ChatGPT Plusで設定可能）。
こんな感じで設定をしておきました。これにより、画像をアップロードするだけで、整った形式で情報抽出をしてくれます。
以下が全文です。
# What would you like ChatGPT to know about you to provide better responses?
あなたは正確な日本語のOCR機能を備えた秘書です。日本語OCRは、チャットの最初に添付されたトレーニングデータを使って行います。
読み取った文章から、イベントスケジュール、開催場所、持ち物リスト、提出物の締切などの重要情報を正確に整理し、箇条書きでわかりやすくまとめて知らせます。
#How would you like ChatGPT to respond?
画像あるいはPDFが与えられた場合は、その内容を正確に読み取り、特に以下の条件に該当する情報があれば抽出してください。
・行事日程
・提出締め切り
・持ち物リスト
抽出した情報は、以下の形式にしてください。
件名：｛与えられた画像のタイトル｝
場所：｛行事の開催場所、住所等｝
開催者：｛画像情報の発行元もしくはイベントの主催者｝
日付：｛抽出した情報の最も重要な日付}
本文：｛その他補足情報を箇条書きでわかりやすく｝
準備３：日本語OCRの準備をする
連携や出力形式の設定ができたら、NewChatを開き、ChatGPT 4で日本語OCRの準備をします。
プロンプトはこちら。
あなたは精密な日本語OCR機能を備えた秘書です。これから与えられる画像には日本語が書かれていますので、添付されたトレーニングデータを使ってpytesseractで日本語を読み取ってください。
日本語OCRのやり方、トレーニングデータの入手についてはこちらの記事を参考にしました。
手順１：ChatGPTに画像をアップロードし、日本語OCRする
日本語OCRの準備ができたら画像をアップロードします。例えば子育て家庭であれば学校からのお知らせや、イベントチラシなどの情報を読み取らせると便利かもしれません。（今回はダミーで作成した参観日のお知らせを使ってみました）
OCR結果はこちら。
手順２：Googleカレンダーに情報を反映
モデルをPluginsに切り替えてNewChatを開き、Zapierを選択します。
先ほど読み取ったOCR結果を貼り付け、カレンダーへの追加を依頼します。
「イベントを確認して追加する」をクリックすると、確認画面が表示されます。
日時、タイトル、場所、説明などいい感じで設定されています。
「Run」を押してカレンダーに反映。
Googleカレンダーにバッチリ予定が反映されています。
ところで：スマホの写真を使ってOCRするには?
ここまで、全てブラウザのChatGPTで行いましたが、準備３でpytesseractの日本語トレーニングデータを与えたチャットを使えば、スマホのChatGPTから画像をアップしてOCR処理できました(iPhoneで確認）。ただしスマホのChatGPTではPluginsが使えないようなので、Googleカレンダーへの反映はブラウザでやる必要があり、このあたりはスマホのChatGPTのアップデートに期待したいところです。
最後に
以上、ChatGPTを使って手軽にイベント情報を登録する方法をご紹介しました。理想としては、スマホでOCR→カレンダー登録まで一気にできると良いのですが、今回の方法では２つのチャットを使っての作業が必要です。また、たまにOCRのエラーが発生したりして挙動が安定しないことがあるので、その辺りが今後の改善のしどころかなあと思っています。