TB(テラバイト)を超える規模のデータを扱う必要がある場合
- ここに書いた手法では扱いきれるとは思いません。
- 自動運転の分野でのデータが管理がどのようにされているのかの記事を見てください。
- それらを参考にして、自分たちのデータ管理の手法を模索・構築してください。
自動車の 機械学習オペレーション（MLOps）ワークフローをサポートする完全に自動化されたデータ パイプライン
自動運転AIとデータの関係性は？データマネジメントの重要性（特集：自動運転車1台あたり2ペタバイトの衝撃 第3回）
自動運転の未来はデータ管理が鍵
自動運転車が生成する膨大なデータの管理方法について
自動運転データセットへのWebDatasetのIndexed Datasetの導入
【E2E連載企画 第5回】20TB/dayのデータ処理を支えるデータエンジンの全貌
自動運転のための大規模なVisual QAデータセット・AutoScenesQAの作成
1ペタバイトのデータセットで機械学習する / WebDataset入門
ティアフォー、大規模データ共有による自動運転AI開発において日本交通と協業 7月よりデータ収集開始、共有データ基盤の構築へ