0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【ポエム】もし100GBの構造化・3Dデータを「完全可逆で1GB」にできる技術があったら、何に使いたい?

0
Posted at

この記事は「もしデータの容量制約が1/100になったら、どんなシステム設計やプロダクトが可能になるか?」を自由に考える思考実験(ポエム)記事です。

​1ビットも削れないデータが重すぎる問題
​普段システムを開発・運用していると、「データの肥大化」との戦いが年々厳しくなっているのを感じます。
​画像や動画であれば非可逆圧縮で人間の目をごまかせますが、「1ビットの狂いも、行の並び順の変化も許されないデータ」はそうはいきません。
​スマートシティや測量で使われる全国規模の3D都市モデル・点群データ
​自動運転やロボットが記録する空間センサーログ
​金融のミリ秒単位のTickデータや大量のトランザクション履歴
​数億〜数十億レコードに膨れ上がったDBやログファイル
​これらは既存の圧縮アルゴリズムをかけても数百GB〜数TBに達し、S3などのストレージ費用、BigQuery等のスキャン課金、そして何より「重すぎてローカルや普通のサーバーのメモリに載らない」という物理的な壁を生んでいます。
​
仮定:100GB以上のデータが「完全可逆で1/100」になる世界線
​
​そこで、こんな思考実験をしてみました。
​もし、100GBを超えるような巨大な数値データ・構造化データ・3D空間データを、元の順序も精度も100%保ったまま(展開後のハッシュ値が完全一致するロスレス圧縮で)、1GB以下(1/100以下)にできる技術があったら、何ができるだろう?
​さらに「元のデータサイズが大きければ大きいほど削減率が跳ね上がる(たとえば800GBが数GBになる)」という特性があったとしたら、インフラの設計思想はどう変わるでしょうか。

​① 800GBの3D全国マップが、普通のPCのメモリ(RAM)に載る
​現在、高精度な3D地理データや点群データは重すぎて、専用のハイスペック端末や大規模なGISサーバーがないとまともに扱えません。
もしこれが数GBまで縮むなら、一般的なPCのメモリやブラウザ環境でも、日本全国の3Dデータをロード時間ゼロでシームレスに動かせるようになります。防災シミュレーションやデジタルツイン、ゲームのオープンワールド構築のハードルが一気に崩壊します。

​② 自動運転やIoTで「データを間引かずに全部残す」が可能になる
​エッジ端末からクラウドへデータを送る際、今は通信量と保存容量の限界から「異常時のみ記録する」「平均値に丸める」といった妥協をしています。
容量が1/100になるなら、すべての走行生データやセンサー履歴を捨てずに丸ごと転送・永久保存できるようになります。

​③ DBのアーカイブ処理や「泣く泣く消すバッチ」からの解放
​「直近3ヶ月分だけホットストレージに置いて、それ以前は削除またはコールドストレージへ退避」といった涙ぐましいライフサイクル管理が不要になり、数年〜数十年分の生データを常に即座にクエリできる状態で保持できます。
​あなたなら、どんなデータを突っ込んで何をを作りますか?
​ここまで極端に容量が縮むと、単なる「インフラ代の節約」を超えて、「これまでデータが重すぎて実装を諦めていた機能やサービス」が作れるようになるはずです。
​もし皆さんの手元に、この「巨大な構造化データ・3Dデータを完全可逆で1/100にするブラックボックス」が突然届いたとしたら、真っ先にどんなデータを入れて、どんなシステムを組んでみたいですか?
​「自分の関わっている分野ならこれが解決する」「こんな無茶なアーキテクチャが組めるようになる」といったアイデアがあれば、ぜひコメント欄で聞かせてください!

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?