この記事は「もしデータの容量制約が1/100になったら、どんなシステム設計やプロダクトが可能になるか?」を自由に考える思考実験(ポエム)記事です。
1ビットも削れないデータが重すぎる問題
普段システムを開発・運用していると、「データの肥大化」との戦いが年々厳しくなっているのを感じます。
画像や動画であれば非可逆圧縮で人間の目をごまかせますが、「1ビットの狂いも、行の並び順の変化も許されないデータ」はそうはいきません。
スマートシティや測量で使われる全国規模の3D都市モデル・点群データ
自動運転やロボットが記録する空間センサーログ
金融のミリ秒単位のTickデータや大量のトランザクション履歴
数億〜数十億レコードに膨れ上がったDBやログファイル
これらは既存の圧縮アルゴリズムをかけても数百GB〜数TBに達し、S3などのストレージ費用、BigQuery等のスキャン課金、そして何より「重すぎてローカルや普通のサーバーのメモリに載らない」という物理的な壁を生んでいます。
仮定:100GB以上のデータが「完全可逆で1/100」になる世界線
そこで、こんな思考実験をしてみました。
もし、100GBを超えるような巨大な数値データ・構造化データ・3D空間データを、元の順序も精度も100%保ったまま(展開後のハッシュ値が完全一致するロスレス圧縮で)、1GB以下(1/100以下)にできる技術があったら、何ができるだろう?
さらに「元のデータサイズが大きければ大きいほど削減率が跳ね上がる(たとえば800GBが数GBになる)」という特性があったとしたら、インフラの設計思想はどう変わるでしょうか。
① 800GBの3D全国マップが、普通のPCのメモリ(RAM)に載る
現在、高精度な3D地理データや点群データは重すぎて、専用のハイスペック端末や大規模なGISサーバーがないとまともに扱えません。
もしこれが数GBまで縮むなら、一般的なPCのメモリやブラウザ環境でも、日本全国の3Dデータをロード時間ゼロでシームレスに動かせるようになります。防災シミュレーションやデジタルツイン、ゲームのオープンワールド構築のハードルが一気に崩壊します。
② 自動運転やIoTで「データを間引かずに全部残す」が可能になる
エッジ端末からクラウドへデータを送る際、今は通信量と保存容量の限界から「異常時のみ記録する」「平均値に丸める」といった妥協をしています。
容量が1/100になるなら、すべての走行生データやセンサー履歴を捨てずに丸ごと転送・永久保存できるようになります。
③ DBのアーカイブ処理や「泣く泣く消すバッチ」からの解放
「直近3ヶ月分だけホットストレージに置いて、それ以前は削除またはコールドストレージへ退避」といった涙ぐましいライフサイクル管理が不要になり、数年〜数十年分の生データを常に即座にクエリできる状態で保持できます。
あなたなら、どんなデータを突っ込んで何をを作りますか?
ここまで極端に容量が縮むと、単なる「インフラ代の節約」を超えて、「これまでデータが重すぎて実装を諦めていた機能やサービス」が作れるようになるはずです。
もし皆さんの手元に、この「巨大な構造化データ・3Dデータを完全可逆で1/100にするブラックボックス」が突然届いたとしたら、真っ先にどんなデータを入れて、どんなシステムを組んでみたいですか?
「自分の関わっている分野ならこれが解決する」「こんな無茶なアーキテクチャが組めるようになる」といったアイデアがあれば、ぜひコメント欄で聞かせてください!