0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Shift_JIS の DXF をブラウザで文字化けさせずに読む:TextDecoder の fatal で判定

0
Posted at

国内の CAD が書き出した DXF は、注記や表題欄の日本語が Shift_JIS で入っていることがよくあります。ズメケンでは DXF をブラウザの中だけで読むので、ファイルを ArrayBuffer で受け取ってから自分で文字列に直す必要があります。この記事では、TextDecoder を fatal: true で UTF-8 として一度試し、失敗したら Shift_JIS で読み直すという短い実装と、デコード後に DXF 特有の文字の書き方(\U+XXXX や %%c)を素の文字に戻す処理を紹介します。

問題:DXF の「文字コード」はファイルの外からは分からない

ASCII 形式の DXF はただのテキストファイルで、グループコードと値が 1 行ずつ交互に並んでいます。座標や図形の種類は ASCII だけで書かれているので、どの文字コードで読んでも形は崩れません。崩れるのは TEXT・MTEXT・ATTDEF の中身、つまり材質や注記、表題欄の文字です。

ところがブラウザの <input type="file"> で受け取った File には、文字コードの情報は付いていません。file.text() を呼ぶと常に UTF-8 として読まれるので、Shift_JIS のファイルでは日本語の部分が � の列になります。

検図ツールにとってこれは見た目だけの問題ではありません。注記の抜けを正規表現で探す処理(材質・一般公差など)は、文字が化けていると「書いてあるのに未記載」と判定してしまいます。表示より先に、解析の入口で文字コードを正しく決める必要があります。

素朴な方法とその限界

考えられる方法はいくつかあります。

  1. UTF-8 決め打ち:file.text() で済みますが、Shift_JIS の図面がすべて化けます。
  2. Shift_JIS 決め打ち:今度は UTF-8 で保存された DXF の日本語が化けます。新しめの CAD や、プログラムで生成した DXF は UTF-8 のことがあります。
  3. 利用者に選ばせる:確実ですが、ファイルを開くたびに「文字コード」を聞かれるのは手間で、そもそも自分の図面の文字コードを知らない人がほとんどです。
  4. 文字コード推定ライブラリを入れる:候補を広く当てられますが、扱う図面で現れるのは実質 UTF-8 と Shift_JIS の 2 つなので、そのために依存を増やすほどではありません。

そこで「UTF-8 として厳密に読めるか」をまず確かめ、駄目なら Shift_JIS とみなす、という 2 択の判定にしました。

この実装のやり方:UTF-8 の厳密デコードを判定に使う

TextDecoder は既定では、UTF-8 として不正なバイト列を見つけても例外を出さず U+FFFD(�)に置き換えて先へ進みます。{ fatal: true } を付けると、置き換える代わりに TypeError を投げます。これをそのまま「UTF-8 ではない」という判定に使います。

これが判定として成り立つのは、Shift_JIS の日本語のバイト列は UTF-8 の規則にほとんど合わないからです。

  • Shift_JIS の全角文字の 1 バイト目は 0x81〜0x9F か 0xE0〜0xFC。
  • UTF-8 では 0x80〜0xBF は「続きのバイト」で、文字の先頭には来られない。0xF5 以上は UTF-8 に一度も現れない。
  • 半角カナ(0xA1〜0xDF の 1 バイト)も、UTF-8 では先頭に来られないバイト。

1 バイト目が 0xE0〜0xEF の文字は、後ろのバイト次第で偶然 UTF-8 の 3 バイト文字の形になることがありますが、図面の注記はたいてい数文字以上の日本語が続くので、どこかで規則から外れて例外になります。逆に、日本語を 1 文字も含まない(ASCII だけの)DXF はどちらで読んでも同じ結果になるので、UTF-8 として通っても困りません。

流れを図にすると次のとおりです。

先頭でバイナリ DXF を弾いているのは、使っているパーサ(dxf-parser)がバイナリ形式に対応していないためです。バイナリ DXF は AutoCAD Binary DXF という 18 文字で始まるので、先頭の 18 バイトだけを見て判定しています。

コード

デコード部分は次の関数がすべてです。

src/lib/dxf/parse.ts
/** AutoCAD のバイナリDXFはこの文字列で始まる(dxf-parser は非対応) */
const BINARY_SENTINEL = "AutoCAD Binary DXF";

/**
 * DXF を文字列としてデコードする。
 * 国内CADが吐く DXF は Shift_JIS のことが多いため、
 * UTF-8 として厳密デコードを試し、失敗したら Shift_JIS にフォールバックする。
 */
export async function decodeDxf(file: File): Promise<string> {
  const buffer = await file.arrayBuffer();

  const headLength = Math.min(BINARY_SENTINEL.length, buffer.byteLength);
  const head = String.fromCharCode(...new Uint8Array(buffer, 0, headLength));
  if (head.startsWith(BINARY_SENTINEL)) {
    throw new Error(
      "バイナリ形式のDXFには対応していません。CADから「ASCII DXF」形式で保存し直してください。",
    );
  }

  try {
    return new TextDecoder("utf-8", { fatal: true }).decode(buffer);
  } catch {
    try {
      return new TextDecoder("shift_jis").decode(buffer);
    } catch {
      return new TextDecoder("utf-8").decode(buffer);
    }
  }
}

いくつか補足します。

  • Shift_JIS 側は fatal を付けていません。 Shift_JIS としても不正なバイトがあった場合は、例外にせず � に置き換えて読み進めます。日本語の一部が化けても、図形と寸法が読めれば検図の大半は動くからです。
  • 内側の catch は、shift_jis というラベルを扱えない実行環境のための保険です。 TextDecoder のコンストラクタは知らないラベルを渡されると RangeError を投げます。主要なブラウザは Encoding Standard に沿って shift_jis を持っているので通常はここに来ませんが、来た場合は fatal なしの UTF-8 で読み、少なくとも処理は止めません。
  • ブラウザの shift_jis デコーダは Windows 寄りの対応表(いわゆる CP932 相当)で読みます。Windows の CAD が書き出した図面なら、丸付き数字や ~ などの機種依存文字もそのまま読めます。

呼び出し側は、デコードした文字列をそのままパーサに渡すだけです。パーサは動的 import にして、DXF を開くまで読み込まないようにしています。

src/lib/dxf/parse.ts
export async function parseDxf(file: File): Promise<DxfModel> {
  if (!isDxfFile(file)) {
    throw new Error("DXFファイル(.dxf)を選択してください。");
  }

  const source = await decodeDxf(file);
  const { default: DxfParser } = await import("dxf-parser");

  let dxf: IDxf | null;
  try {
    dxf = new DxfParser().parseSync(source);
  } catch (error) {
    // …省略…
  }
  // …省略…
}

デコードの後にもう一段:DXF の中の文字の書き方を戻す

バイト列を正しく文字列にしても、DXF の文字はそのままでは読めません。DXF には文字コードと別に、文字の書き方の決まりがあるからです。

  • \U+XXXX:Unicode のコードポイントを 16 進で書いたエスケープ。日本語をこの形で書き出す CAD がある。
  • %%c・%%d・%%p:それぞれ φ・度・± を表す特殊文字コード。
  • \fMS Gothic|b0|i0|c128|p18; や \P、\H2.5x;:MTEXT のフォント指定・改行・文字高などの書式コード。

これを TEXT・MTEXT・ATTDEF・寸法の上書き文字のすべてに通しているのが cleanDxfText です。

src/lib/dxf/parse.ts
/** MTEXT の書式コード・特殊文字コードを取り除いて素のテキストにする */
export function cleanDxfText(input: string): string {
  if (!input) return "";
  return (
    input
      // \fMS Gothic|b0|i0|c128|p18; のようなフォント指定
      .replace(/\\f[^;]*;/gi, "")
      // \U+XXXX 形式のユニコードエスケープ
      .replace(/\\U\+([0-9A-Fa-f]{4})/g, (_, hex: string) =>
        String.fromCharCode(parseInt(hex, 16)),
      )
      // \P(改行)、\A1;(垂直位置)、\H2.5x;(文字高)などの制御コード
      .replace(/\\P/g, " ")
      .replace(/\\[A-Za-z][^;\\]*;/g, "")
      .replace(/\\[{}\\]/g, "")
      .replace(/[{}]/g, "")
      // %%c は φ、%%d は 度、%%p は ± を表す
      .replace(/%%c/gi, "φ")
      .replace(/%%d/gi, "°")
      .replace(/%%p/gi, "±")
      .replace(/\s+/g, " ")
      .trim()
  );
}

順番には意味があります。\U+XXXX を先に文字へ戻してから、\ で始まる残りの制御コードを消しています。逆にすると、\U+ の部分が汎用の制御コードの正規表現に巻き込まれる恐れがあります。また \P(改行)は空白に置き換え、最後に連続する空白を 1 つにまとめます。注記の判定では文字列を連結して正規表現を当てるので、改行の位置で語が分かれないようにするためです。

寸法の上書き文字も同じ関数を通すので、%%c10 と書かれた寸法は φ10 として扱われます。上書き文字から数値を読む処理は、cleanDxfText を通した後で φ・R などの記号を取り除いてから数字を探しています。

限界・やらないこと

  • 候補は UTF-8 と Shift_JIS の 2 つだけです。 EUC-JP や、中国語・韓国語の CAD が使う文字コードの DXF は、UTF-8 として読めなければ Shift_JIS として読まれ、日本語以外の文字は化けます。
  • ヘッダの $DWGCODEPAGE は見ていません。 DXF のヘッダには ANSI_932 のように文字コードを宣言する変数がありますが、この実装は宣言ではなくバイト列そのもので決めています。宣言を使う場合は、ヘッダを先に何らかの文字コードで読む手順と、宣言と中身が食い違うファイルの扱いを別に考える必要があります。
  • \U+XXXX は 4 桁だけを扱います。 String.fromCharCode で 1 つの UTF-16 の単位に戻しているので、基本多言語面(BMP)の外の文字は対象外です。図面の注記で困ることはまずありませんが、仕様としてはそうなっています。また、古い形式の \M+ で始まるマルチバイトのエスケープは変換していません。
  • バイナリ DXF は読みません。 先頭の 18 バイトで判定し、ASCII 形式で保存し直すよう案内するだけです。
  • 書き出しは UTF-8 になります。 寸法を自動で足した DXF をダウンロードする機能では、デコード済みの文字列から new File([text], …) でファイルを作っているので、元が Shift_JIS でも書き出したファイルは UTF-8 です。

おわりに

TextDecoder の fatal オプションは、ライブラリを足さずに「UTF-8 かどうか」を判定できる手軽な方法でした。デコードの後に DXF 独自の文字の書き方を戻す処理までそろえて、ようやく注記の判定に使える文字列になります。

Shift_JIS の DXF をそのまま開けるビューアは https://zumeken.com/viewer?utm_source=qiita 、検図は https://zumeken.com/app?utm_source=qiita で試せます。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?