0. 要約
- 目的：クラウドAPI（OpenAIなど）を使わず、ローカル環境で高品質PDF翻訳を実現する
-
結論（macOS M3 Pro / 36GB 実測）
- 最もバランス良好：gemma3-12b（品質・速度の両立）
- 最も高品質：gemma3-27b（ただし最遅）
- 最も高速：gemma3-4b（速報用）
- 非推奨：LibreTranslate / LTengine4b（誤訳・文法破綻が多発）
1. はじめに
前回は OpenAI API（gpt-4.1-mini）を利用して、PDFのレイアウトを保持したまま翻訳できるツール を作成しました。
今回は「クラウド非依存・無料・ローカル完結」をテーマに、 ローカルLLM（Ollama / LTEngine / LibreTranslate）を利用してPDF翻訳を実現します。
検証は Apple M3 Pro（11コア・36GB RAM）搭載MacBook Pro 上で行い、PDF翻訳時の 翻訳品質 と 処理速度 の両面を比較しました。 企業資料（提案書形式PDF）のサンプル を対象に、翻訳結果を 忠実度・自然度・処理時間 の3軸で総合評価しています。
2. 評価環境と方法
| 項目 | 内容 |
|---|---|
| 対象PDF |
test_slides.pdf（企業提案書形式、84 spans） |
| 評価軸 | 忠実度・英文自然度・文法整合性・専門語訳精度・処理速度 |
| ハードウェア | macOS 15.7.1 / Apple M3 Pro（11コア） / メモリ 36GB |
| 計測方法 | time uv run python main.py -m |
| 翻訳ツール | Ollama（Gemma 3系）、LTEngine、LibreTranslate |
| 出力PDF群 | 各モデル出力を手動比較（構造・語彙・文法を確認） |
評価に使用したソースコード
3. テスト結果（速度・品質の総合比較）
| モデル名 | 忠実度 | 英文自然度 | 文法整合性 | 専門語訳精度 | 所要時間（total） | 総合スコア（品質＋速度） |
|---|---|---|---|---|---|---|
| gpt-4.1-mini | ★★★★★ | ★★★★★ | ★★★★★ | ★★★★★ | 7.4s | 97.5 / 高速 |
| gemma3-27b | ★★★★★ | ★★★★★ | ★★★★★ | ★★★★★ | 378s (6:18) | 97.0 / 低速 |
| gemma3-12b | ★★★★★ | ★★★★☆ | ★★★★★ | ★★★★★ | 183s (3:03) | 96.5 / 中速 |
| gemma3-4b | ★★★☆☆ | ★★★☆☆ | ★★★☆☆ | ★★★☆☆ | 71s (1:11) | 82.5 / 中速 |
| ltengine12b | ★★★☆☆ | ★★★★☆ | ★★★☆☆ | ★★★☆☆ | 83s (1:22) | 77.5 / 中速 |
| ltengine4b | ★★☆☆☆ | ★★☆☆☆ | ★★☆☆☆ | ★☆☆☆☆ | 32.8s | 27.5 / 高速 |
| libre | ★☆☆☆☆ | ★☆☆☆☆ | ★☆☆☆☆ | ★☆☆☆☆ | 33.5s | 20.0 / 高速 |
4. セクション別品質分析
翻訳結果
表紙・タイトル
-
優秀: gpt-4.1-mini, gemma3-27b, gemma3-12b
→ 「To anticipate market changes and lead to a new stage of growth.」
忠実・自然で構文保持も良好 -
不良: libre, ltengine4b
→ プロンプト残留や語順崩壊
| モデル名 | 翻訳サンプル画像 |
|---|---|
| オリジナル |  |
| gemma3-12b |  |
| ltengine4b |  |
| libre |  |
成果物（Deliverables）
- gemma3-12b/27b, gpt-4.1-mini: 数値整合・文脈忠実
- ltengine12b: 文法破綻あり
- libre: 無意味な英文混入
| モデル名 | 翻訳サンプル画像 |
|---|---|
| オリジナル |  |
| gemma3-12b |  |
| ltengine12b |  |
| libre |  |
トレンド分析
-
gemma3-12b/27b:
「季節要因の影響が小さい安定的な傾向」→ “a stable trend with little influence from seasonal factors.” (良い翻訳ができている) - gemma3-4b: 要約傾向と翻訳ミス
- libre: 文法崩壊
| モデル名 | 翻訳サンプル画像 |
|---|---|
| オリジナル |  |
| gemma3-12b |  |
| gemma3-4b |  |
| libre |  |
「1月」が January ではなく 1 month と誤訳される理由は、 GoogleスライドをPDFに変換する際に発生する 文字分解の構造的問題 にあります。
具体的には、スライド上の「1月」という文字列がPDF化の過程で 「1」と「月」という 2つの独立したテキストオブジェクト に分割されてしまうため、 翻訳エンジンはこれを「1（数値）」と「month（月）」という別の単語として認識し、 結果的に「January」ではなく “1 month” と誤訳してしまうのです。
5. 処理速度比較
| モデル | 処理時間 (秒) | 相対速度指数（基準=gpt-4.1-mini=1.0） |
|---|---|---|
| gpt-4.1-mini | 7.4 | 1.0x（最速） |
| ltengine4b | 32.8 | 4.4x |
| libre | 33.5 | 4.5x |
| gemma3-4b | 71.2 | 9.6x |
| ltengine12b | 82.8 | 11.2x |
| gemma3-12b | 183.2 | 24.8x |
| gemma3-27b | 378.1 | 51.3x（最遅） |
6. 総合評価（品質 × 速度）
| 順位 | モデル | 総評 |
|---|---|---|
| 🥇 | gpt-4.1-mini | 高品質・超高速 比較基準モデル |
| 🥈 | gemma3-27b | 最高品質 (外部提出・契約文書向け) |
| 🥉 | gemma3-12b | バランス最良 (社内・業務用途に最適) |
| 4位 | gemma3-4b | 速報・草稿翻訳向け |
| 5位 | ltengine12b | 可読だが構文乱れ |
| 6位 | ltengine4b | 高速だが誤訳・脱落 |
| 7位 | libre | 破綻・ノイズ混入 |
7. 推奨構成
| 用途 | 推奨モデル | 理由 |
|---|---|---|
| 高品質最優先 | gemma3-27b | gpt-4.1-miniに匹敵する精度に見える。(長文・公式提案書向け) |
| 実用バランス型 | gemma3-12b | 高精度・安定構文 (実務翻訳の標準 ) |
| 速度重視（速報・一次訳） | gemma3-4b | 約1分で完了 (速報・試訳に適す) |
この構成により、セキュリティ要件を満たしつつ高品質な翻訳をローカル環境で完結できる。M3 Proクラスでも十分実用的であり、業務翻訳を完全オンプレで安定稼働させることが可能である。
非推奨
- ltengine4b / libre：誤訳多数・文法破綻・ノイズ
- ltengine12b：主従関係崩壊。業務利用は推奨せず