はじめに
こんにちは！株式会社SapeetのAIソリューション事業部でアルゴリズムエンジニアとして働いている堀ノ内です。
あっという間に年末に差し掛かりましたが、みなさん、この時期恒例の年末調整はお済みでしょうか？
年末調整というと、とにかく「面倒」「後回しにしがち」というイメージがありますよね。締め切り直前に慌てたり、「そもそも何のためにやっているんだっけ？」と毎年疑問が湧く方も多いと思います。
そんな面倒臭いイベントですが、AIと一緒に進めれば効率的に楽しく進められるのでは？との思いからAIと一緒に年末調整をやってみました。
以降特に断りがない場合はChatGPT 5.1 Autoを使います。
年末調整とは
そもそも年末調整とは？という方もいらっしゃるかと思いますので、まずは年末調整をなぜやるのかについて聞いてみましょう。
では早速実際に年末調整の入力を進めていきます。弊社ではクラウド会計ソフト「freee」で年末調整を行っており、このシステムが非常に使いやすく、基本的な入力は快適に進めることができました（年末調整ってこんなに楽だっけ？）。特に書類をアップロードするとOCRで内容を読み取り、対応する項目を自動入力してくれる機能が便利で、入力の手間が一気になくなります。
こんな感じで進めていくと後半現れるのが「住宅ローン控除」、年末調整最大の山場です。一応ChatGPTに聞いてみます。
戻ってくる金額がそれなりに大きいため大変ありがたい制度なのですが、申請手続きがとにかく煩雑なのが難点。この申請を行うには 「給与所得者の（特定増改築等）住宅借入金等特別控除申告書兼（特定増改築等）住宅借入金等特別控除計算明細書」 という 紙の書類 に対して 数値を手書き してそれをシステムにアップロードする必要があるのです。そして記入マニュアルが非常に難解です。
しかも、この申請は年に一回しか行わないため、去年のことは覚えておらず、毎年イチから記入方法を読み解く必要があります（実はルールは簡単なのですが、パッと見の印象が難しい）。
こちらの記入、AIなら分かりやすくサポートしてくれるのでは？という期待を胸に進めてみましょう！
AIと住宅ローン控除の申請をやってみる
ChatGPT 5.1 Auto編
AIとはいえ、参考資料がないのは厳しいだろうということで、まずは記入マニュアルのpdfを事前知識として読み込ませました。
今回は未記入状態の以下の申請書類をアップロードし、各種入力項目についてどのように記載すればいいかを質問してみます。 (今年分である令和7年分は名前などを記入してしまっていたため、令和8年分を利用)
注意) 個人情報を記入した状態でのアップロードはご自身の判断でお願いします。サービスの設定やプランによってはアップロードした情報がAIの学習に使われる可能性があります。
以下のように質問してみたところ
以下の回答を得ました。
画像上部には生年月日を書く欄はないですし、給与の支払者（＝勤務先の会社）の名称や法人番号を書く欄がありますが、こちらについての説明がありません。いきなり雲行きが怪しくなってきましたが続きを見てみましょう。
ダウト！ですね。ChatGPTは「借入が1本なら左の列」と回答していますが、実際には列は借入本数ではなく「住宅のみ／土地のみ／住宅＋土地」で選びます。列のヘッダには
A: 住宅のみ
B: 土地等のみ
C: 住宅及び土地等
と記載があり、購入したものが「住宅のみ」なのか「土地のみ」なのか「住宅及び土地」なのかで記入する列を選択するというルールです。
この時点でかなり怪しく、そもそもアップロードした書類の文字が読めているのかを確認するため、文字起こしをしてもらいました。結果は以下です。
文字起こしデータ(ChatGPT 5.1 Auto)
令和8年分
給与所得者の（特定増改築等）住宅借入金等特別控除申告書
兼（特定増改築等）住宅借入金等特別控除計算明細書
あなたの氏名
（フリガナ）
あなたの住所 又は 居所
税務署長 殿
年末調整に際し、次のとおり（特定増改築等）住宅借入金等特別控除を受けるため、申告します。
───────────────────────────────────────────────
【表（項目欄＋借入①②③欄）】
項目｜新築 取得及び増改築等に係る対価の額（家屋の額（㋺）、増改築等に係る場合はその金額）｜（新築・取得のみ）家屋の床面積（㋩）｜
｜住宅借入金等の年末残高（注1）｜（住宅の用に供した場合の年）｜（居住用割合（④欄））｜（注2）｜
｜住宅の新築 取得等の年月日（㋣）｜（㋥ 居住用割合）｜特定増改築等の借入金の年末残高（注3）｜
｜特定増改築等の費用の額（㋬）｜（⑤欄）1％｜（注2）｜
居住用割合（④欄）
100.0％｜56.4％｜（注2）
住宅借入金等の年末残高（最高 4,000万円）
年間所得の見積額
3,000万円以下の方のみ記入（あなたが本年中に支払を受ける給与等の金額）
特定増改築等の費用の額（㋬）
（最高 200万円）
特定増改築等の費用の額の1%（住宅の用に供した場合の年）
（住宅借入金等の年末残高の金額）
（注2）｜直接適用（の有無）を安定する場合の住宅借入金等の年末残高（⑤欄）
（最高 400,000円）
⑤欄 × 1％
───────────
下部の別枠（会社が記入する部分）
令和8年分 年末調整のための（特定増改築等）住宅借入金等特別控除証明書
〈以下、会社記入欄〉
やはり給与の支払者などは読み取れていないですし、全体として精度が低い印象です。これではまともなアドバイスは難しいですね。
ChatGPT 5.1 Thinking編
ここまではChatGPT 5.1 Autoを使ってきました。そもそもAutoとは、ユーザからの質問の難易度に応じて素早く回答を返す軽量モードである「Instant」と深く考える「Thinking」を自動で使い分けるモードです。今回の質問に対しては「Instant」が使われてしまい精度がそれほど出なかったという可能性もあるため、今度は明示的に「Thinking」を指定して文字起こししてみました。
文字起こしデータ(ChatGPT 5.1 Thinking)
令和 8 年分
給与所得者の（特定増改築等）住宅借入金等特別控除申告書
兼（特定増改築等）住宅借入金等特別控除計算明細書
（フリガナ）＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
あなたの氏名 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
あなたの住所 又は 居所
＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
税務署長 殿
年末調整に際し、次のとおり（特定増改築等）住宅借入金等特別控除を受けるため、申告します。
┌────────────┬───────────────┬───────────────┬───────────────┐
│ 項 目 │ ① の 借 入 金 等 │ ② の 借 入 金 等 │ ③ の 借 入 金 等 │
├────────────┼───────────────┼───────────────┼───────────────┤
│新築・購入又は増改築等に係る│ │ │ │
│対価の額（家屋の対価の額（㋺）、│ 円（ ） │ 円（ ） │ 円（ ） │
│増改築等に係る場合はその費用の額）│ │ │ │
├────────────┼───────────────┼───────────────┼───────────────┤
│住宅借入金等の年末残高（注１）│ 円（ ） │ 円（ ） │ 円（ ） │
├────────────┼───────────────┼───────────────┼───────────────┤
│住宅の取得等の年月日（㋣） │ 年 月 日 │ 年 月 日 │ 年 月 日 │
├────────────┼───────────────┼───────────────┼───────────────┤
│住宅の用に供した年月日（㋥） │ 年 月 日 │ 年 月 日 │ 年 月 日 │
├────────────┼───────────────┼───────────────┼───────────────┤
│床 面 積（㋩） │ ㎡ │ ㎡ │ ㎡ │
├────────────┼───────────────┼───────────────┼───────────────┤
│居 住 用 割 合（④欄） │ 100.0 ％ │ 56.4 ％（注２） │ ％ │
├────────────┼───────────────┼───────────────┼───────────────┤
│住宅借入金等の年末残高 │（最高 4,000万円） │ │ │
│（④欄のうち少ない方）（⑤欄） │ 円 │ 円 │ 円 │
├────────────┼───────────────┼───────────────┼───────────────┤
│年間所得の見積額 │ 円 │ │ │
│（3,000万円以下の方のみ記入） │ （あなたが本年中に支払 │ │ │
│ │ を受ける給与等の金額） │ │ │
├────────────┼───────────────┼───────────────┼───────────────┤
│特定増改築等の費用の額（㋬） │（最高 200万円） │ 円 │ 円 │ 円 │
├────────────┼───────────────┼───────────────┼───────────────┤
│特定増改築等の費用の額の１％ │ （住宅の用に供した年） │ │ │
│（⑥欄）（注３） │ 円 │ 円 │ 円 │
├────────────┼───────────────┼───────────────┼───────────────┤
│住宅借入金等の年末残高のうち │ 直接適用（の有無）を │ │ │
│特定増改築等に係る借入金の │ 判定する場合の住宅借入金│ │ │
│年末残高（注２） │ 等の年末残高（⑦欄） │（最高 400,000円） │ │
│ │ 円 │ 円 │ 円 │
├────────────┼───────────────┼───────────────┼───────────────┤
│⑦欄 × １％（⑧欄） │ 円 │ 円 │ 円 │
└────────────┴───────────────┴───────────────┴───────────────┘
（注１）…（細かい注意書き）
（注２）…（細かい注意書き）
（注３）…（細かい注意書き）
令和 8 年分 年末調整のための（特定増改築等）住宅借入金等特別控除証明書
（この下の部分は、給与の支払者（会社）が記入する欄）
若干マシになったようにも思いますが、実際の書類とは内容がかけ離れており、やはり実用面では厳しい印象です。
Gemini 3.0 Pro編
最後に先日(2025/11中旬)リリースされたばかりのGemini 3.0 Proで試してみることにします。Geminiは画像、音声や映像などマルチモーダルな入力に対する処理が得意という特性があるため、どの程度の違いがあるのか見てみましょう。
文字起こしデータ(Gemini 3.0 Pro)
ご提示いただいた画像の文字起こしを作成しました。
表の部分は、元のレイアウトに合わせて構成しています。
-----
**【ヘッダー】**
令和 8年分
給与所得者の（特定増改築等）住宅借入金等特別控除申告書
兼 （特定増改築等）住宅借入金等特別控除計算明細書
-----
**【上部枠：本人・勤務先情報】**
* **給与の支払者の名称（氏名）：** （空欄）
* **給与の支払者の法人番号：** （空欄）
* **給与の支払者の所在地（住所）：** （空欄）
* 所轄税務署長 （空欄）
* **（フリガナ）あなたの氏名：** （空欄）
* **あなたの住所又は居所：** （空欄）
* **世帯主の氏名及びあなたとの続柄：** （空欄）
-----
**【宣言文】**
年末調整の際に、次のとおり（特定増改築等）住宅借入金等特別控除を受けたいので、申告します。
-----
**【中央表：計算欄】**
| 項 目 | 新築又は購入に係る借入金等の計算 | | | Ⓓ 増改築等に係る借入金等の計算 (注1) |
| :--- | :--- | :--- | :--- | :--- |
| | **Ⓐ 住 宅 の み** | **Ⓑ 土地等のみ** | **Ⓒ 住宅及び土地等** | |
| **①** 新築、購入及び増改築等に係る住宅借入金等の年末残高<br>（内、連帯債務による借入金の額） | （ ）円<br>（ ） | （ ）円<br>（ ） | （ ）円<br>（ ） | （ ）円<br>（ ） |
| **②** 住宅借入金等の年末残高<br>（①のうち単独債務の額 ＋ ①のうち連帯債務の額 × 「連帯債務割合」） | （ ％） 円 | （ ％） 円 | （ XX.X ％） 円 | （ ％） 円 |
| **③** ②と証明事項の取得対価の額又は増改築等の費用の額のいずれか少ない方の金額 | ②と(ロ)の少ない方<br> 円 | ②と(ホ)の少ない方<br> 円 | ②と（(ロ)＋(ホ)＋(リ)）の少ない方<br> 円 | ②と(ヲ)の少ない方<br> 円 |
| **④** ③ × 「 居 住 用 割 合 」 | （ 100.0 ％） 円 | （ 56.4 ％） 円 | （ ％）(注2) 円 | （ ％） 円 |
| **⑤** 住宅借入金等の年末残高等<br>（ ④ の 欄 の 合 計 額 ） | （最高 4,000万円） 円 | | | |
| **⑥** 特 定 増 改 築 等 の 費 用 の 額<br>（注3） | | | | （備考）<br> |
| **⑦** 特定増改築等の費用の額に係る住宅借入金等の年末残高等<br>（ ⑤ と ⑥ の 少 な い 方 ） （注3） | （最高 万円） 円 | | | |
| **⑧** （ 特 定 増 改 築 等 ）<br>住宅借入金等特別控除額<br>（ ⑤ × 1 ％ ） | （100円未満の端数切捨て）<br>（最高 400,000円）<br> 00 | | | |
-----
**【右側欄外・注釈】**
* **年間所得の見積額：** 円
* （3,000万円を超える場合は控除の適用がありません。（※））
* ※特例特別特例に該当する場合、1,000万円を超える場合は控除の適用がありません。
* **(注1)** 増改築等に係る借入金等の区分が「住宅及び土地等」の場合は、Ⓒ欄で計算します。
* **(注2)** Ⓒ欄の④の居住用割合については、Ⓐ欄の④の居住用割合とⒷ欄の④の居住用割合やⒹ欄の④の居住用割合とⒷ欄の④の居住用割合が異なる場合は、同封の説明書をお読みいただいて記入してください。
* **(注3)** 特定増改築等住宅借入金等特別控除を受けない方は、⑥欄及び⑦欄の記入の必要はありません。
* **重複適用（の特例）を受ける場合の（ 特定増改築等 ）住宅借入金等特別控除額：**
* （100円未満の端数切捨て）
* （最高 円）
* 00
* （記入に当たっては、同封の説明書をお読みください。）
-----
**【フッター】**
令和 8年分 年末調整のための（特定増改築等）住宅借入金等特別控除証明書
-----
※画像内のパーセンテージ（100.0%や56.4%など）は、印字済みの数字としてそのまま起こしています。
なんと、ChatGPT 5.1 Thinkingでは読み取れていなかった「給与の支払者」関連の情報や「新築又は購入に係る借入金額の計算」のあたりも読み取れています！
（備考）に記載のあるかなり小さい文字も正しく読み取れているのが凄いですね！
ここまで読み取れているのであれば、記入手順をアドバイスしてくれるのでは？とのことで聞いてみたところ以下のように答えてくれました。
かなりいい線いってますね。ちゃんと購入したものに応じて列を使い分けることを説明してくれていたり、それ以降の記入方法も正しいです。Gemini 3.0 Pro恐るべし！！
最後に
いかがだったでしょうか。AIに手書きベースの申請作業を手伝ってもらった結果、今回のケースではGemini 3.0 Proが最も高い精度で読み取り/サポートを行ってくれました。
私が所属する株式会社Sapeet AIソリューション事業部では、今回実験したようなAI OCR、様々な業界のドメイン知識(例えば今回でいう年末調整や会計の知識など)の抽出とAIへの注入などを通してお客様の役に立つサービスを開発しています。
もしSapeetにご興味をお持ち頂けましたら、ぜひこちらの採用サイトからご連絡ください！