facebook からダウンロードした自分のデータを MongoDB に突っ込んでみるテスト

この記事はなに

facebook から自分の投稿などのデータを一括ダウンロードできる機能がいつのまにかアップグレードしていて、(1) 期間を指定して (2) JSON 形式でも、ダウンロードできるようになってました (以前は全期間対象に html 形式でしかダウンロードできなかった)。
で、意気揚々とダウンロードしたのはいいものの、マルチバイトコードのエンコーディングに悩まされました。ググってもよくわからず、どうにかこうにか自力で処理して MongoDB に突っ込むことができたので、それを記録したものです。
「こうやれば一発解決なのに」などの情報をいただければ幸い、という記事です。
あとは、未来の自分のためのメモとして。

実際のコード

npm の mongodb パッケージを使ったよ。

dunk.js

const fs = require('fs')
const mongodb = require('mongodb')
const MongoClient = mongodb.MongoClient
const client = new MongoClient('mongodb://localhost:27017')

client.connect((err) => {
    const db = client.db('fbtk')
    insertDocuments(db, () => {
        client.close()
    })
})

const insertDocuments = (db, callback) => {
const obj = ((s, r, u, v) => {
  v = ((v) => {
           u.forEach((c,i) => v[c] = {
               u: parseInt(i/4), e: (8<=i&&i<12)*(i-8), l: (i%4)*4 })
           return v
          })({})
  return JSON.parse(s.replace(r, (m, n11, n21, n22, n31, n32, offset, str) => {
      return '\\u' + n11 + u[v[n21].e*4+v[n22].u] + u[v[n22].l+v[n31].e] + n32}))
})(require('fs').readFileSync('/var/tmp/your_posts.json', 'utf8'),
   /\\u00[89a-f]([\da-f])\\u00([89ab])([\da-f])\\u00([89ab])([\da-f])/g,
   '0123456789abcdef'.split(''))


    db.collection('ownpost').insertMany(obj.status_updates, (err, result) => {
        callback(result)
    })
}

問題と解決

JavaScript で読むと文字化け

facebook からダウンロードした JSON の文字列データは、「UTF-8 でエンコーディングしたもの」のではなく、『「UTF-8 でエンコーディングしたもの」を ASCII 文字で表現できるよう "\u" エスケープしたもの』になっていました。
具体的には、

 { "description" : "Windows XP \u00e3\u0081\u00ae\u00e4\u00bb\u0095\u00e4\u00ba\u008b" }

のようになっていました。文字列は「Windows XP の仕事」を表しています。
最初は無邪気にこのまま MongoDB に突っ込んだのですが、文字化けしました。
JavaScript での Unicode エスケープ表現は、UTF-16 を「\uXXXX」で表したものなので、U+306E である「の」は「\u306e」という表現になるはずです。ですので、期待されるのは次のような文字列です。

 { "description" : "Windows XP \u306e\u4ed5\u4e8b" }

JavaScript で先の JSON をそのまま読み込むと、「の」に相当する「\u00e3\u0081\u00ae」を 「U+00e3、U+0081、U+00ae」の 3 文字として解釈してしまいます。
「の」が「\u00e3\u0081\u00ae」になっているのは、「の」を UTF-8 で表現すると「e381ae」になるから、でしょう。すなわち、2 バイト文字 (U+0800 〜 U+FFFF) の 2 進数表現が次の場合、

upper byte: vvvvxxxx
lower byte: yyyyzzzz

UTF-8 では、次の 3 バイトになります。

 first byte: 1110vvvv
second byte: 10xxxxyy
 third byte: 10yyzzzz

解決方法

簡単な方法がないかな、とググったのですが、すぐに見つからなかったので、自分でやってみました。
JSON.parse() するときに、2 バイト文字 (U+0800 〜 U+FFFF) の UTF-8 表現である \u エスケープされた 3 バイトの連続が現われたら、JavaScript の Unicode エスケープ表現に変換しちゃう、という方法です。先のコードで

    JSON.parse(s.replace(r, (m, n11, n21, n22, n31, n32, offset, str) => {
      return '\\u' + n11 + u[v[n21].e*4+v[n22].u] + u[v[n22].l+v[n31].e] + n32}))

のところがそれです。正規表現 r は、2 バイト文字のところだけにマッチするようになっています。
あとは「16 進数 <-> 数値」変換が必要になりますが、まともにやるのがアレだったので、配列 u や連想配列 v を用意して基本的に表引きだけで済ますようにしました。配列 u が数値から 16 進数表現文字への変換テーブル、連想配列 v が 16 進数表現文字から対応する数値への変換テーブルになっています。

参考までに。

u = [ '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' ]
v = { '0': { u: 0, e: 0, l:  0 },
      '1': { u: 0, e: 0, l:  4 },
      '2': { u: 0, e: 0, l:  8 },
      '3': { u: 0, e: 0, l: 12 },
      '4': { u: 1, e: 0, l:  0 },
      '5': { u: 1, e: 0, l:  4 },
      '6': { u: 1, e: 0, l:  8 },
      '7': { u: 1, e: 0, l: 12 },
      '8': { u: 2, e: 0, l:  0 },
      '9': { u: 2, e: 1, l:  4 },
       a : { u: 2, e: 2, l:  8 },
       b : { u: 2, e: 3, l: 12 },
       c : { u: 3, e: 0, l:  0 },
       d : { u: 3, e: 0, l:  4 },
       e : { u: 3, e: 0, l:  8 },
       f : { u: 3, e: 0, l: 12 } }