0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

英語論文や技術PDFのレイアウト崩れを防いで翻訳する方法:2段組・表・数式の破損パターンと対策

0
Posted at

英語の学術論文や技術仕様書のPDFを読む際、段落の途切れや表の崩壊、数式の文字化けに悩まされる問題を解決します。
PDF内部のテキスト配置構造を紐解きながら、なぜ翻訳時にレイアウト破損が起こるのか、その4大原因を検証します。
論文の2段組や表・数式を適切に扱えるツールの特徴と、翻訳後に確認すべき重要チェックポイントがわかります。

Wordのファイルには、どの単語が段落を構成し、どの単語が表に属しているかの構造情報が記録されています。しかし、多くのPDFにはそれがありません。PDFが持っているのは文字コードと、その文字を紙面(画面)上に描画する座標情報だけです。段落や表、文といった構造は、読む人間の目が補完して認識しています。

一部のPDFにはアクセシビリティタグが付与されていますが、学術論文を含め付いていないものも数多く存在します。そのため、2段組レイアウト、複数列にまたがる見出し、次ページへと続く文章といった構造は、翻訳を行う前に正しく組み直す必要があります。そのうえで、翻訳によって長さが変わった訳文を元のレイアウトに収め直さなければなりません。書式が崩れるのは、まさにこの工程です。

手元のファイルに応じた基本的な選択肢は以下のとおりです:

  • 元の .docx や .pptx がある場合:PDFではなく、その元ファイルを翻訳するのが確実です。
  • 表が少なく文字中心のPDF(10 MB未満):Google 翻訳のドキュメント機能を手軽に試せます。
  • 表・数式・2段組を含む論文や技術レポート:レイアウトを再構築するタイプの翻訳ツールを利用し、後述する4つのチェックポイントを確認してください。
  • スキャンデータ(テキスト選択不可):事前にOCR処理が必要です。DeepLはスキャンデータにも対応していますが、Google 翻訳ではスキャンページは未翻訳のまま残ります。

1. 翻訳ツールはPDFの内部をどう見ているのか

PDFからテキストを取り出す際、内部で何が起きているのかを可視化するため、arXivに公開されているAI言語モデルの論文2本(LLaMA と Mistral 7B)を例に取ります。一般的なオープンソースPDFツールである MuPDF の mutool でテキストを抽出した結果を見てみましょう。レイアウトを考慮しないツールが翻訳処理に渡しているのは、おおよそ次のようなデータです。

1.1 表は単なる数字の列に分解される

LLaMA 論文の表3(Table 3)では、10個のモデルを8つのベンチマークテストで比較しています。

10個のモデルを8つのテストで比較したLLaMA論文の表3、GPT-3の行を強調

これをテキスト抽出すると102行のデータになります。ヘッダーの後に数値が1行ずつ並びます。

BoolQ
PIQA
SIQA HellaSwag WinoGrande ARC-e
ARC-c
OBQA
GPT-3
175B
60.5
81.0
-
78.9
70.2
68.8
51.4
57.6
Gopher

どの数値がどのテストに対応しているのかを示す情報は完全に失われています。これをそのまま翻訳ボックスに貼り付けても、表としての構造は戻ってきません。

1.2 1つの文の中に表データが丸ごと混入する

LLaMA 論文の3ページ目末尾の文は、"we need to" で途切れています。

3ページ右欄の末尾、途中で終わっている文を強調

その続きは、4ページ目左欄の表3の下に現れます。

4ページの表3末尾と表題、その下に続く文の後半を強調

抽出されたテキストを見ると、脚注や改ページ、表3の102行、さらに表題が、1つの文の真ん中に挟み込まれています。

To fully benefit from this optimization, we need to
2https://github.com/facebookresearch/xformers
BoolQ
PIQA
…
Table 3: Zero-shot performance on Common Sense Reasoning tasks.
reduce the memory usage of the model by using

順序通りに機械的に処理するツールでは、文の途切れと表の混入を見分けることができず、不自然に分割された訳文が生成されてしまいます。

1.3 添字や分数が別の文字・数値に化ける

Mistral 論文では、変数 h に添字 i が付けられています(hᵢ)。

Mistral 7B 論文の1行、添字 i 付きの変数 h を強調

テキスト抽出を行うと添字の位置情報が失われ、単なる hi という文字列になります。

former to attend information beyond the window size W. The hidden
state in position i of the layer k, hi, attends to all hidden states from

LLaMA 論文でも、4d の3分の2(⅔·4d)という重ね組みの分数が次のように抽出されます。

LLaMA 論文の2行、重ね組みの分数「3分の2 × 4d」を強調

improve the performance. We use a dimension of
2
34d instead of 4d as in PaLM.

位置情報が脱落した結果、「4dの3分の2」が「34d」という全く異なる数値になってしまいます。

1.4 単語が行末ハイフンで分断される

2段組の論文では行末のハイフネーションが多用されます。

LLaMA 要旨の冒頭、founda-tion と LLaMA-65B の2か所の改行を強調

We introduce LLaMA, a collection of founda-
tion language models ranging from 7B to 65B
…
(175B) on most benchmarks, and LLaMA-
65B is competitive with the best models,

founda-tion はハイフンを除去して繋ぐ必要がありますが、モデル名である LLaMA-65B のハイフンは保持しなければなりません。

2. PDF翻訳ツールの選択肢と特徴

選択肢 長所 限界
翻訳ボックスへのコピー&ペースト 無料ですぐに使える 表、数式、レイアウトが失われ、文が途中で切れることが多い
Google 翻訳(ドキュメント) 無料。.docx、.pdf、.pptx、.xlsx に対応 10 MB・300ページまで。画像内文字やスキャンページは翻訳されない。モバイル非対応
DeepL(ファイル翻訳) Web/デスクトップ/API対応。スキャンデータ対応。Proプラン等で.docx変換可能 アカウントが必要。プランごとに翻訳ファイル数制限あり。CAD由来PDFなどは非対応
Word等に変換してから翻訳 翻訳前に元ファイルを修正できる 変換時点でレイアウト崩れが発生した場合、誤りがそのまま残る
レイアウト再構築型の翻訳ツール 表、数式、分割された文を構造として認識 元ファイルと同一の配置にはならない。訳文の長さに応じて改行やフォントサイズが変化する

私たちが開発している Equalang のドキュメント翻訳は、このレイアウト再構築アプローチを採用しています。ページの切れ目で分断された文章を翻訳前に結合し、表構造を1列に潰さずに維持したまま再構築します。また、数式を文字化けとして破棄せず、数式最適化のオプションも提供しています(対応言語:日本語、英語、中国語、韓国語、スペイン語、フランス語など)。

ただし、言語によって翻訳後の文字量が変わるため、元ファイルと完全に一致するわけではありません。文字が溢れたり改行位置が変わる箇所は、目視での確認が必要です。

3. PDF翻訳後に必ず確認すべき4つのポイント

  1. 表の整合性:列ヘッダーと数値の対応がずれていないか確認します。
  2. 改ページと表前後のテキスト:ページの最終行や表の直後に、文頭・文末が途切れた不自然な文がないか確認します。
  3. 数式と記号:文中のインライン変数や分数が、一般的な英単語や誤った数字に化けていないか点検します。
  4. ページ数とハイパーリンク:訳文の膨張でページが予期せず増えていないか、目次や参照リンクが正常に飛べるかを確認します。

この記事はドキュメント翻訳ツールを開発している Equalang チームが執筆しました。

参考資料

  • Touvron et al., "LLaMA: Open and Efficient Foundation Language Models", arXiv:2302.13971v1, CC BY 4.0.
  • Jiang et al., "Mistral 7B", arXiv:2310.06825v1, CC BY 4.0.
  • Google 翻訳 ヘルプ, Translate documents & websites, 2026年10月7日確認.
  • DeepL ヘルプセンター, Translate PDF files, 2026年10月7日確認.
  • 実測方法: テキストは2026年10月7日に MuPDF 1.25.6 で抽出(コマンド mutool draw -q -F txt -o out.txt in.pdf)。図は論文ページの切り抜きで、強調は筆者が入れたものです。
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?