自動運転システムにおけるデータセット
自動運転システムの性能や安全性は、学習や検証に使われるデータの「質」と「量」に大きく左右されます。中でも、LiDAR（Light Detection and Ranging）センサーが取得する高精度な3次元点群データは、車両の周囲環境を正確に把握し、障害物を検出したり、自車位置を見積もったりするうえで重要な役割を担っています。
自動運転向けのオープンソースデータセットとしてはKITTIやnuScenes、Waymoデータセットなどが有名ですが、いずれも商用利用は制限されています。この記事では、オープンソース、かつ商用利用可能なLiDARのデータセットについてまとめていきます。
LiDARの種類について
機械式回転LiDAR
機械式LIDARは、レーザー送受信機を内蔵したユニット全体を物理的に回転させることで、水平360度の全方位をスキャンします。KITTIやnuScenesといったデータセットで採用されたVelodyne社のHDL-64EやHDL-32Eがその代表例です。
Ouster OS1(https://ouster.com/insights/blog/os1-32-high-resolution-low-cost-lidar-sensor)
この方式の最大の利点は、1台のセンサーで車両周囲の完全な3次元情報を取得できる広範な視野角にあります。しかし、物理的な回転機構を持つため、大型で高価、かつ機械的な摩耗や振動に対する脆弱性といった課題を抱えています。
ソリッドステートLiDAR (SSL)
ソリッドステートLiDAR (SSL)は、レーザービームの走査を、可動部品を最小限に抑えるか、あるいは完全になくして行う技術の総称です。これにより、機械式に比べて小型、高信頼性、低コストなシステムの実現が可能となります。SSLは主に以下の方式に分類されます。
-
MEMS (Micro-Electro-Mechanical Systems)
MEMS方式は、微小なミラーを高速で動かし、レーザービームの方向を制御する技術です。機械式よりも小型・低コストで、広い視野角と長い測距性能を両立できるため、現在の車載用LiDARで主流になりつつあります。ただし、ミラーが物理的に動くため、振動や衝撃への対策が必要です。Hesai「PandarGT」やRoboSense「RS-LIDAR-M1」などが代表例です。
PandarGT (https://www.datrontechnology.co.uk/pandargt/)
-
フラッシュ（Flash）方式
フラッシュ方式は、強力なレーザーを一度に広範囲に照射し、反射光を2次元センサーでまとめて取得します。可動部がなく耐久性に優れ、動く物体でもブレが起きにくいのが特徴です。LeddarTechの「Pixell」が代表的ですが、長距離測定には高出力のレーザーが必要という課題があります。
Robosense E1 (https://www.robosense.ai/en/IncrementalComponents/E1)
-
OPA方式（Optical Phased Array）
OPAは、光の位相を電子的に制御してビーム方向を操る先進技術で、完全なソリッドステート方式です。高速かつ柔軟なスキャンが可能ですが、サイドローブによる干渉や製造の難しさといった課題が残ります。現在、商用データセットでの本格採用は確認されていません。
Quanergy Systems S3 Series (https://www.unmannedsystemstechnology.com/2021/11/opa-based-solid-state-lidar-extends-range-to-130-meters/)
-
FMCW方式（Frequency-Modulated Continuous-Wave）
FMCWは、光の周波数を連続的に変化させて照射し、反射光との周波数差から距離を測る方式です。ドップラー効果を利用して、対象の相対速度も測定可能なのが特徴です。MEMSなどの走査方式と組み合わせることができ、次世代の有力技術とされていますが、まだ大規模データセットでの採用例はありません。
LSLiDAR (https://www.leishen-lidar.com/en/tof/151)
| 技術分類 | 動作原理 | 主な利点 | 主な課題 | データセットでの 採用例 |
|---|---|---|---|---|
| 機械式回転 | レーザー送受信ユニット全体を物理的に回転させ、360度スキャン | 1台で全周の視野角をカバー、成熟した技術 | 大型のコスト、機械的摩耗、振動への脆弱性 | KITTI (Velodyne HDL-64E), nuScenes (Velodyne HDL-32E) |
| MEMS | 半導体技術で作製した微小ミラーを高速振動させ、ビームを走査 | 小型、低コスト、高信頼性、良好な測距性能と視野角のバランス | 微小な可動部が存在、衝撃・振動への対策が必要 | PandaSet (Hesai PandarGT), SimoSet (RoboSense RS-LIDAR-M1) |
| フラッシュ | 広範囲にレーザーを一括照射し、受光素子アレイで一斉に検知 | 完全なソリッドステート、耐振性、モーションブラーなし | 長距離測距には高出力レーザーが必要、解像度が受光素子数に依存 | Leddar PixSet (Leddar Pixell) |
| OPA | 光アンテナアレイの位相を電子制御し、光の干渉でビームを走査 | 完全なソリッドステート、極めて高速かつ柔軟なスキャンが可能 | サイドローブ干渉、製造プロセスの複雑性、低効率 | 現時点で大規模公開データセットでの採用例なし |
商用利用可能なデータセット紹介
1. PandaSet
概要
PandaSetは、LiDARメーカーのHesai社とアノテーション企業のScale Al社の協業により公開された、学術および商用利用の両方を明確に意図した大規模データセットです 。最大の特徴は、360度をカバーする機械式LiDARと、車両前方を高解像度で捉えるソリッドステートLiDARの両方を搭載し、両者のデータを同時に提供する点にあります。
センサー構成(https://www.pandaset.org/)
データ収集シナリオ
シリコンバレーの2つのルート(サンフランシスコ市内およびパロアルトからサンマテオに至るエルカミーノ・レアル)で収集。急な坂道、工事区域、交通量の多い道路、多数の歩行者など、複雑な都市部の運転シナリオを網羅しており、時間帯も朝、昼、夕方、夜と多岐にわたります。
LiDAR仕様
データ収集車両には、2種類のLiDARを含むセンサー群が搭載されています。
- Hesai PandarGT (ソリッドステート): 車両前方を対象とするMEMS方式のLiDAR
- Hesai Pandar64(機械式):車両周囲360度をカバーする回転式LiDAR
搭載されているセンサー群を以下にまとめます。
| センサー | 種類 | チャンネル 数/解像度 | 測距性能 (反射率 10%) | 視野角(水平/垂直) | 角度分解能 (水平/垂直) | フレーム レート |
|---|---|---|---|---|---|---|
| PandarGT | MEMSソリッドステート | 150チャンネル相当 | 300 m | 60°/20° | 0.1°/0.07°(最高) | 10 Hz |
| Pandar64 | 機械式回転 | 64チャンネル | 200 m | 360°/40° (-25° to +15°) | 0.2°/0.167°(最高) | 10 Hz |
| カメラ(広角) | CMOS | 1920×1080 | - | - | - | 10 Hz |
| カメラ(望遠) | CMOS | 1920×1080 | - | - | - | 10 Hz |
| GPS/IMU | 搭載 | - | - | - | - | - |
アノテーションについて
PandaSetのもう一つの強みは、Scale Al社による高品質なアノテーションです。人間の作業者によるラベリングに加え、機械学習モデルによるチェックや統計的な信頼度評価を組み合わせた品質保証体制を特徴としています 。これにより、人間単独や合成ラベリングだけでは達成困難な高い精度を実現しています。アノテーションの分類も非常に豊富で、3Dバウンディングボックスは28クラス、点群のセマンティックセグメンテーションは37ラベルに及びます。
ライセンスについて
Creative Commons Attribution 4.0 International (CC BY 4.0) です。
このライセンスは商用利用、改変と再配布が可能です。ただし、クレジットの表示は必須になりますので、データセットを利用する際は、研究論文、製品のドキュメント、ソフトウェアの「バージョン情報」やREADMEファイルなど、利用形態に応じた適切な場所に以下の情報を含めてください。
- データセットの名前
- 作成者／提供者名
- 元のデータセットへのリンク（入手元など）
- ライセンス名とそのリンク (CC BY 4.0, https://creativecommons.org/licenses/by/4.0/)
- データセットに何らかの変更（加工、追加アノテーションなど）を加えた場合は、その旨を明記
採用実績
UniSimやOYSTERといった最先端の研究が、トップカンファレンスであるCVPRでPandaSetを利用して発表されており、データセットの品質と学術界における重要性が証明されています。
2. SimoSet
概要
SimoSetは、車載グレードのハイブリッドソリッドステートLiDARから収集された、世界初のオープンソース3D物体検出データセットとして位置づけられています。
データ収集シナリオ
データは大学のキャンパス内で収集。交差点や工事現場を含む複雑な交通環境、昼間と夜間の両方の照明条件下でのデータが含まれ、主要な交通参加者である車両、自転車、歩行者に対してアノテーションが付与されています。
LiDARセンサー仕様
- RoboSense RS-LIDAR-M1
PandaSetのPandarGTと同様にMEMS技術をベースとしたハイブリッドソリッドステートLiDAR。SimoSetの提供者は、このセンサーが「車載グレード」であることを強調しており、量産車への搭載を想定した研究開発において、より現実に即したデータを提供できる点をアピールしています。
| センサー | 種類 | チャンネル 数(相当) | 測距性能 (反射率 10%) | 視野角(水平/垂直) | 角度分解能 | フレーム レート |
|---|---|---|---|---|---|---|
| RS-LIDAR-M1 | MEMSソリッドステート | 125チャンネル相当 | 150 m | 120°/25° | - | 10 Hz |
アノテーションについて
アノテーションは3Dバウンディングボックスとして提供。データ全体が広く普及しているKITTIフォーマットに準拠して提供されます。これにより、研究者はデータフォーマットの変換といった煩雑な前処理を行うことなく、既存の多くの物体検出モデルや評価ツールを直接適用できます。
ライセンスについて
PandaSetと同様、Creative Commons Attribution 4.0 International (CC BY 4.0) です 。
採用実績
論文では、データセットとベースラインコードは著者にリクエストすることで入手可能とされています。PandaSetのような一般公開された専用のdevkitは、現時点では確認されていません。また2023年に論文が公開された比較的新しいデータセットであるため、主要なコンピュータビジョン関連の国際会議での採用実績は、現時点ではまだ見られません。
3. Leddar PixSet
概要
Leddar PixSetは、ソリッドステートのフラッシュLiDARを採用し、さらに通常の点群データに加えてフル波形(full-waveform) データを収録している点で、他のデータセットとは一線を画すユニークな研究開発用データセットです。
センサ構成(https://leddartech.com/solutions/leddar-pixset-dataset/)
データ収集シナリオ
データはカナダの都市部、郊外、高速道路で記録。晴天、曇天、雨天といった多様な天候条件や、昼間、夜間、薄暮といった照明条件を網羅しており、ロバストなアルゴリズム開発に適した多様性を持ちます。
LiDARセンサー仕様
-
Leddar Pixell (フラッシュLiDAR):
可動部のないフラッシュ方式のソリッドステートLIDARです。水平180度という非常に広い視野角を持ちます -
機械式LIDAR:
比較およびフュージョン研究のために、64チャンネルの機械式回転LIDARのデータも同時に収録されています
| センサー | 種類 | 主要仕様 | 提供されるユニークなデータ |
|---|---|---|---|
| Leddar Pixell | フラッシュソリッドステート | 水平視野角 180°、垂直視野角 16° | フル波形データ |
| 機械式LIDAR | 機械式回転 | 64チャンネル | 標準的な点群データ |
| カメラ | CMOS | 90度レンズ ×3,180度パノモーフレンズ ×1 | RGB画像 |
| レーダー | FMCW | 77-79 GHz | レーダー点群 |
| IMU/GPS | 搭載 | デュアルGPS RTKアンテナと統合 | 高精度な自己位置・姿勢情報 |
フル波形データとは
フル波形データとは、LiDARが受信した反射光の信号強度を、時間経過に沿ってデジタル化した生データそのものです。単一の距離値(点)だけでなく、反射波の幅や強度、複数のピークの有無といった豊富な情報が含まれます。これにより、例えば、植生と人工物では反射波の形状が異なるため、これらを区別する分類精度が向上する可能性があります。また、雨粒や霧による微弱な反射と、その奥にある物体からの反射を波形レベルで分離できる可能性があり、悪天候下での認識性能向上に繋がる先進的な研究が可能となります。
ライセンスについて
公開されている標準ライセンスは Creative Commons Attribution-NonCommercial-ShareAlike 4.0 (CC BY-NC-SA 4.0) です。これは注意が必要で、標準ダウンロードで適用されるライセンスは非商用(NonCommercial) に限定されており、そのままでは商用利用はできません。しかし、LeddarTech社は商用利用を希望する組織向けに、商用ライセンス交渉のための連絡先 (datasets@leddartech.com) を提供しています。したがって、商用利用には、ライセンス契約を別途締結するというプロセスが必要となります。
採用実績
複雑なフル波形データを含むデータセットを読み込み、処理し、可視化するためのPython API (pioneer.das.api)が提供されています。また、公開時のホワイトペーパーや、このデータセットを利用した研究論文において、ベースラインとなる性能評価が報告されています。
3つのデータセットの比較まとめ
以上、３つのデータセットを紹介しましたが、違いをまとめるとこのようになります。
-
PandaSet は、寛容なライセンスや使いやすい開発キット、学術実績が揃っており、すぐに開発を始めたいチームにとって最も手軽な選択肢です。機械式とSSLの両方式に対応しており、汎用性も高いです。
-
SimoSet の強みは、車載グレードのRoboSense製センサーを採用している点です。量産車と同様の環境で開発したい場合、ドメインギャップを小さくできるため有力な選択肢となります。エコシステムの充実度ではPandaSetに劣りますが、「量産連携」を重視するチームに最適です。
-
Leddar PixSet は、「フル波形データ」を提供するのが最大の特長です。波形情報を活用したアルゴリズムで成果を出せれば、大きな技術的優位性を得られます。ただし、商用ライセンス交渉や高い専門知識が必要なため、リスクは高めです。先進的な研究開発向けの選択肢と言えます。
| データ セット | 主要応用分野 | LiDAR 技術 | データの多様性 | アノテーション品質 | エコシステム成熟度 | 商用ライセンス | 商用利用への道筋 | 主要な差別化要因 |
|---|---|---|---|---|---|---|---|---|
| PandaSet | 物体検出、セグメンテーション | MEMS, 機械式 | 都市部, 昼夜, 多様な交通状況 | 非常に高い(Scale Al) | 高い(Devkit, 論文多数) | CC BY 4.0 | 直接ダウンロード | デュアルLIDAR構成、高品質アノテーション |
| SimoSet | 物体検出 | MEMS | 大学構内,昼夜 | 高い(KITTI準拠) | 限定的(コードは要請) | CC BY 4.0 | 直接ダウンロード(要請) | 「車載グレード」センサー、KITTIフォーマット準拠 |
| Leddar PixSet | 先行研究, センサーフュージョン | フラッシュ、機械式 | 都市/高速, 多様な天候・照明 | 高い(詳細な属性) | 中程度(専用APIあり) | CC BY-NC-SA 4.0 | 個別交渉が必要 | フル波形データ、フラッシュLIDAR |
最後に
以上、今回の記事では簡単にLiDARの種類について紹介し、商用利用可能、かつオープンソースのデータセットをいくつか紹介させていただきました。ライセンスの情報などについて間違っている点があればご指摘いただけると幸いです。最後まで読んでくださりありがとうございました。