0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

QR コード 1 枚 = 2,953 バイトに、どこまで音楽が入るか測った ── 紙だけで再生できる形の実測記録

0
Posted at

QR コード 1 枚に入るのは、最大 2,953 バイトです。ここに音楽を入れて、サーバーもアカウントもなしに、紙を読み取るだけで再生できる形が作れるか、方式を変えて全部測りました。

最後に、印刷した紙をスマホで読み取って、チェロの音が鳴るところまで確かめています。

この記事で伝えたいのは、次の 3 つです。

  • 1 枚に収まるのは楽譜だった。 ただし、収まることと、聞けることは別でした。壁は容量ではなく、音を楽譜に起こす(採譜する)精度でした。
  • 波形を載せるなら、30 秒で 56〜110 枚。 学習しながら予測する圧縮で 86 枚まで減りました。一番小さくなる AI のコーデックは、復号器が 63 MB あって紙に載りませんでした。
  • 紙は欠ける。 だから冗長は、複製ではなく符号(ファウンテン符号)で置きました。64 枚印刷すれば、約 56.5 枚集まった時点で元に戻ります。

この記事について

  • コードを書いたのは AI です。実験と実機の確認は筆者が行いました
  • 数字はすべて実測値です。確かめていないことは、最後の「確かめていないこと」にまとめました
  • 音の素材は、すべて CC0 の録音です(第 7 節)

0. 前提と、先行例

QR コードの最大容量は、Version 40(177×177 マス)・誤り訂正レベル L で、8 ビットのバイトで 2,953 バイトです(QR コードドットコム)。この数字が、すべての設計の土台です。

紙やQR に音楽を載せる試みには、先行例があります。

先行例 方式 再生に必要なもの
ScoreCard(WAC 2024) 音を作るプログラムを WebAssembly にして URL に埋め込む URL の先の Web プレイヤー(ネットワーク)
Paper Tunes(Makestreme) AI コーデック EnCodec(3 kbps)。2 分 7 秒 → 約 21 KB → QR 8 枚 PC 側の Python と EnCodec
QRPLAY(nycki) QR 1 枚の data URI に、シンセとテキストの楽譜を入れる なし(QR 1 枚で完結)

QR 1 枚の中に再生する仕組みごと入れる(data URI)という発想には、QRPLAY という先行例があります。この記事で新しく測ったのは、次の組み合わせです。

  • 任意の MP3 を入力にする(手で書いた楽譜ではなく)
  • data URI で自己完結する(ホスティングに頼らない)
  • 部品を自作する(MP3 デコーダ、ADPCM、μ-law、予測圧縮、ファウンテン符号)
  • 方式ごとの限界を、同じ物差しで実測する

入力の MP3 は、以前の記事で書いた自作の MP3 デコーダ(純 Python / NumPy)で読んでいます:以前の記事

1. 楽譜方式:1 枚に収まるが、採譜が壁

最初に試したのは、QR 1 枚の data URI に、小さなシンセ(プレイヤー)と音符の列を入れる方式です。プレイヤーだけで、音符 0 個のとき URI は 1,230 文字でした。

音符の形式で一度失敗しています。拍を基準に丸めた版は、曲全体の長さは合うのに、細かいリズムが壊れました。118 個の音の間隔のうち 33 個が 20% 以上ずれ、50 ms の間隔が 0 ms に潰れる所もありました。そこで、絶対時間(10 ms 単位)で [MIDI 番号, 開始, 長さ] を並べる形式に変えました。

  • きらきら星は、Android の実機で聞こえました。
  • バッハの無伴奏チェロ組曲 第 1 番 プレリュード(BWV 1007)の単音版(119 音)も、実機でまともに聞こえました。
  • CC0 の録音から採譜した 144 音は、Version 38 の QR 1 枚に収まりました。容量は足りていました。 ただ、倍音に引っ張られた音が混ざり、耳で聞いて不採用にしました。

多声にしようとして、届かなかった

一番面白い失敗は、複数の音を同時に拾おうとした所です。

  • 合成した素直な音色なら、検出の精度は 1.000 でした。
  • 倍音とビブラートのある、現実的な弦の音色にすると、0.232 まで崩れました。
  • 原因を調べると、主犯は倍音ではなく、ビブラートで 1 つの音が細切れに検出されることでした(余分な検出の 92%)。
  • 細切れをつなぎ、倍音を除くフィルタで 0.79〜0.96 まで戻りましたが、実際の録音では、耳で聞いて単音版に及びませんでした。

楽譜方式は、単音が最終形です。多声は、測って、原因まで特定して、届かなかった、という結果です。

2. 波形方式:複数枚に割れば、波形そのものが戻る

楽譜が駄目なら、波形を切って配ればいい。問題は、枚数と、受け手の重さでした。

作り

  • QR 1 枚目:収集プレイヤー(data URI)。読み取ったテキストを貼って集めます。
  • 2 枚目以降:データ。1 枚あたり実際に使えるのは 2,205 バイトです。
  • 各データの QR の中身は、番号付きのテキストです。
QRS1:<番号>/<全体の枚数>:<base64>

プレイヤーは、貼られたテキストから番号付きの断片を全部拾い、番号順に並べて元のデータに戻します。順番はばらばらでも構いません。

function collect() {
  const re = /QRS1:(\d+)\/(\d+):([A-Za-z0-9+/=]+)/g;
  let m, tot = 0;
  const M = {};
  while ((m = re.exec($('t').value))) { M[+m[1]] = m[3]; tot = +m[2]; }
  const ks = Object.keys(M).map(Number).sort((a, b) => a - b);
  if (!tot || ks.length !== tot) throw new Error('chunks ' + ks.length + '/' + tot);
  let by = [];
  for (const i of ks) { const s = atob(M[i]); for (let k = 0; k < s.length; k++) by.push(s.charCodeAt(k)); }
  return new Uint8Array(by);
}

ADPCM と、電話の方式(μ-law)

どちらも 8 kHz・モノラル、30 秒の CC0 録音で測りました。

  • 自作の IMA ADPCM(4,000 B/秒):30 秒で 120,000 バイト、データ 55 枚+プレイヤー 1 枚で 56 枚。SNR は 23.7 dB で、耳で聞いて合格でした。全曲(約 155 秒)なら 282 枚です。
  • 電話と同じ G.711 μ-law(8,000 B/秒):自前で実装し、復号は ffmpeg と全サンプル一致しました。同じ 8 kHz で SNR 37.3 dB、ADPCM より約 14 dB 良くなりました。μ-law は音の大きさで量子化の細かさを変える(対数で圧縮する)ので、チェロのように長く伸びる音に強いのです。代わりに、30 秒で 110 枚になります。

μ-law の復号は、これだけです。

function mulaw(B) {
  const o = new Float32Array(B.length);
  for (let j = 0; j < B.length; j++) {
    const u = (~B[j]) & 255, g = u & 128, e = (u >> 4) & 7, m = u & 15;
    const v = (((m << 3) + 132) << e) - 132;
    o[j] = (g ? -v : v) / 32768;
  }
  return o;
}

μ-law に、劣化しない圧縮(DEFLATE)を重ねると 101 枚になりました。

電話の帯域(300〜3,400 Hz)に絞った版も作りました。帯域の中の SNR は 37.1 dB でしたが、チェロの一番低い弦の音(G2 = 98 Hz など)は、そもそも電話の帯域の外にあります。

方式ごとの数字(30 秒・CC0 録音・8 kHz モノラル)

方式 データ量 QR 枚数(合計) 波形の SNR 備考
楽譜(単音) 144 音 1 枚 — 容量は足りる。採譜が壁
自作 ADPCM 120,000 B 56 枚 23.7 dB 劣化あり。復号器が小さい
μ-law(G.711) 240,000 B 110 枚 37.3 dB
μ-law + DEFLATE 218,429 B 101 枚 37.3 dB 追加の劣化なし
μ-law + PAQ 系の予測 186,212 B 86 枚 37.3 dB 追加の劣化なし。第 3 節
GRU の予測(重みも送る) 176,120 B + 重み 29,372 B 95 枚 37.3 dB 紙だけでは完結しない。第 3 節
EnCodec 1.5 kbps 5,625 B 4 枚 2.1 dB 耳で不採用。第 4 節
EnCodec 3 kbps 11,250 B 7 枚 4.1 dB 耳で保留
GSM-FR 49,500 B 24 枚 10.4 dB 声のための方式。音楽は不成立

3. 学習しながら予測する圧縮:賢さより、紙に載るか

以前の圧縮の研究で、ニューラルネットで次のバイトを予測して算術符号で縮める方式(NNCP のような方向)を調べたことがあります。そのときは「復号器を配る物の中に入れられない」ので見送りました。今回は、受け手が QR 1 枚のプレイヤーです。予測器が紙に載るかが、そのまま問いになります。

(a) PAQ 系の軽い文脈混合(採用)

  • ビットごとに、5 種類の文脈から次のビットの確率を予測し、それを混ぜて、整数の算術符号で縮めます。
  • 予測器は、復号しながら学習します。送る重みは 0 バイトです。
  • すべて整数の計算にして、Python と JavaScript で結果がバイト単位で一致するように作りました。

結果は 186,212 バイト(6.207 bit/byte)で、DEFLATE より 14.8% 小さくなりました。bz2(199,346 B)や lzma(191,476 B)よりも小さい値です。QR はデータ 85 枚+プレイヤー 1 枚の 86 枚です。30 秒分の復号は、JavaScript で約 350 ms でした。

プレイヤー(復号器入り)は HTML で 2,927 バイトです。data URI にする方法で長さが変わり、上限に収まるかどうかがぎりぎりでした。

data URI の作り方 長さ QR 1 枚(2,953)
base64 3,926 文字 入らない
パーセントエンコード 3,043 文字 入らない
% と # だけを置き換える 2,944 文字 入る

途中で 2 つのバグに当たりました。確率が端に寄ったときに符号化の区間が反転するバグと、負の数のシフトの向きの違いで重みが発散するバグ(44 bit/byte まで悪化)です。確率に上限と下限を付けることと、正負で対称な更新に直すことで解決しました。

(b) 小さな GRU(学習済み、重みも送る)

圧縮の率だけなら、こちらが最良でした。予測の良さ 5.87 bit/byte、縮めた後 176,120 バイト(データ 80 枚)です。

しかし、量子化した重みが 29,372 バイトあり、QR 14 枚分になります。合計 95 枚で、PAQ 系の 86 枚に負けました。さらに、受け手の JavaScript(GRU の推論と算術符号の復号)が QR 1 枚に収まる見込みがありません。浮動小数点の推論は実装によって結果が 1 ビット単位では一致しないので、固定小数点に直す必要もあります。紙だけで完結する形にはならない、と判断しました。

この節の結論は、「予測器の賢さ」ではなく「予測器が紙に載るか」で勝ち負けが決まった、です。

4. 対照実験:EnCodec は、なぜ紙に向かないか

一番小さくなる方式が、一番紙に向いていませんでした。

  • EnCodec 1.5 kbps なら、30 秒が 4 枚まで減ります。ただ、波形の SNR は 2.1 dB で、耳で聞いて不採用でした。3 kbps(7 枚・4.1 dB)でも保留です。
  • 注意点として、EnCodec は「それらしく聞こえる波形」を作り直す方式なので、波形の SNR とは物差しが違います。数字だけで優劣は言えません。
  • 決定的なのは、音質より重さです。復号器(モデル)が約 63 MB あり、受け手が別にダウンロードする前提になります。「紙だけで完結」が崩れます。

声のための電話の方式 GSM-FR は、24 枚・10.4 dB でした。声に合わせた方式なので、音楽では崩れました。

5. 欠けても歌える紙:ファウンテン符号

紙は、なくなったり、汚れたりします。そこで、ADPCM のデータ(55 ブロック)に LT 符号(ファウンテン符号の一種)をかけました。いくつかのブロックを足し合わせた「混ぜた紙」を多めに刷り、どれでも必要な数だけ集まれば、元のデータが解ける方式です。

  • 教科書の次数分布は、ブロック数が小さいと失敗しました。実測で選んだ分布(mix3)を使っています。復号は、簡単な所から順にほどく方法と、ガウスの消去法の組み合わせです。
  • 64 枚印刷すれば、約 56.5 枚集まった時点で元に戻ります。
    • 5 枚なくしても 95%、3 枚なくしても 99.7% の確率で戻ります。
    • 比べると、同じ枚数を「同じ紙を何枚か重ねて刷る」方式にした場合、1 枚なくしただけで成功率が 28% まで落ちます。冗長の置き方で、結果がまったく変わります。
    • 実際に 5 枚を抜いたセットから完全に戻し、SNR 23.70 dB(元と同じ)になりました。

限界も 2 つあります。

  1. 途中から再生はできない。 ADPCM は前の状態を引き継ぐので、戻せないブロックがあると、その後ろが全部崩れます。ブロックごとに状態を戻す設計は、メモだけで、作っていません。
  2. ファウンテン用のプレイヤーが QR 1 枚に入らない。 最小で 3,164 文字になり、上限の 2,953 を超えました(ADPCM 用の収集プレイヤーは 2,938 文字で収まっています)。プレイヤーを分けるなどの形の変更が必要です。

6. 印刷した紙から、実機で鳴らした

最後に、本命の形(電話帯域の μ-law + PAQ)で、印刷した紙から音を鳴らしました。全曲は 450 枚あるので、最初の 3.5 秒だけを切り出した 11 枚(プレイヤー 1 + データ 10)で試しています。圧縮の方式とプレイヤーは、全曲のものと同じです。

  1. A4 に印刷しました。印刷前に、11 枚すべてを画像から読み戻して中身が一致すること、データを貼り合わせてプレイヤーと同じ復号器で戻すと元の音とバイト単位で一致することを確かめました。
  2. Android の QR 読み取りアプリ Binary Eye で、プレイヤーの QR を読み、出てきた data: から始まるテキストを Chrome のアドレス欄に貼って開きました。スマホの標準のカメラは data URI を開いてくれないので、この手順になります。
  3. データ 10 枚を読み、テキストをプレイヤーの入力欄に貼って、▶ Play を押しました。チェロの音が 3.5 秒、きれいに鳴りました。

印刷した QR から開いたプレイヤー。データを貼って再生している(Android・Chrome)

QR の大きさも試しました。定規で黒い四角の 1 辺を測った値です。

QR の大きさ(黒い部分の 1 辺) 結果
約 57〜60 mm 11 枚すべて読めた
約 43〜45 mm 読めた
約 29〜30 mm 読めなかった

印刷のシミュレーションでは「20 mm は全滅、30 mm は全部読める」という結果でしたが、実機では約 30 mm で読めませんでした。実機の方が厳しかったので、黒い部分の 1 辺 45 mm 前後以上をおすすめします。

読み取る側でも差がありました。

  • 画像からの読み取りでは、jsQR の方が OpenCV の 1 回だけの検出より、細かい QR に強い結果でした(72 条件中、jsQR 45 件、OpenCV 13 件が成功)。
  • 画面に映す場合は、1 マス 2 ピクセルでも読めましたが、3 ピクセル以上をおすすめします。
  • スマホのアプリでは、Google レンズは細かい QR が苦手で、Binary Eye は読めました。ただし Binary Eye で、読み取った内容を編集する画面を開くと文字化けしたことがあり、そのまま使うのが安全です。

7. 音の素材と権利

最初は、カザルスの演奏による BWV 1007 を archive.org から使っていましたが、ライセンスの欄が空でした。曲そのものはパブリックドメインでも、「CC0 の素材で試した」とは言えません。

そこで、Wikimedia Commons にある Chris(Fopseh)さんの演奏(2024-12-21 録音、CC0 1.0)に差し替え、主な結果を全部測り直しました。方式の優劣は、素材を替えても同じでした(ADPCM 23.7 dB、μ-law 37.3 dB、楽譜は 144 音で 1 枚)。数字が変わった所もあります。μ-law + DEFLATE は、カザルス版の 93 枚から、CC0 版では 101 枚になりました。新しい録音の方が、μ-law にしたときの情報量が大きかったためです。

8. 確かめていないこと

  • 全曲 450 枚(または 30 秒の 56 枚)を、実機で読み取って再生すること。実機で確かめたのは、3.5 秒の 11 枚までです。
  • iPhone での再生の手順(ショートカットを使う方法など)。標準のカメラで data URI を開けないことだけ確かめました。
  • ファウンテン符号のプレイヤーを分けること、ADPCM をブロックごとに戻すことは、設計のメモだけで作っていません。

まとめ

問い 結果
QR 1 枚(2,953 B)に音楽は入るか 楽譜(単音)なら入る。壁は採譜の質
波形を載せるなら 30 秒で ADPCM 56 枚、μ-law + 予測圧縮 86 枚
一番効いた圧縮 復号しながら学習する文脈混合(DEFLATE より 14.8% 小さい、重み 0 B)
一番小さくなる方式 EnCodec で 4 枚。ただし復号器が 63 MB で紙に載らない
欠けへの対策 ファウンテン符号:64 枚のうち約 56.5 枚で元に戻る
実機 印刷した 11 枚から 3.5 秒のチェロが鳴った。黒い部分 43〜45 mm で読めて、29〜30 mm で読めなかった

ライセンス

  • 音の素材:Chris(Wikimedia Commons: Fopseh)による BWV 1007 プレリュードの演奏(CC0 1.0)
  • MP3 デコーダの実装は minimp3(CC0)の流れとテーブルを参考にしています
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?