分散SQLエンジン(マルチデータベース・アクセスツール)の調査

エッジコンピューティングによって高性能化したエッジ機器にデータが格納されるようになると、クラウドサービスにデータを集めないでエッジ機器のデータを直接検索したいとニーズが生まれてきました。そして、IoT(Internet of Things) システムでは広域に分散されたエッジ機器のデータ群を高速に検索するために、マルチデータベースにアクセスできる分散SQLエンジンが求められています。そこで代表的な分散SQLエンジンの Presto, Apache Drill, Dremio, PGSpider を調査して比較しました。

性能評価は、うちのメンバーがFOSDEM PGDay 2020で発表しています。
https://www.postgresql.eu/events/fosdem2020/sessions/session/2893/slides/281/FOSDEM2020PGDay_PGSpider.pdf

調査項目

時系列データベースの調査項目は以下の通りです。

調査項目	調査内容
対応プログラム言語	アプリケーションからデータベースを操作可能なプログラム言語
アクセス可能なDB	マルチDBアクセスツールからアクセス可能なデータベース
クエリ言語	データベースに対する問い合わせ言語。主にSQLの調査
マルチテナント	マルチテナント機能の有無
インデックス	使用可能なインデックスの種類及び特徴
トランザクション	トランザクションの特性。ACID特性など。
ストアドプロシジャ	ストアドプロシージャ/ファンクションの有無、記述言語
dockerコンテナ	dockerコンテナイメージが提供されているかどうか
性能拡張	スケールアウトを中心にどのように性能拡張するのかを調査。主にシャーディング機能の調査。
高可用性	障害発生時に継続動作するためのメカニズムについて調査。主にレプリケーション機能の調査。
運用	運用時に必要なバックアップや監視ツールについて調査
通信暗号化	DBサーバとクライアント間の通信暗号化機能の有無
DB格納領域の暗号化	DBファイルなどの格納領域の暗号化機能の有無
認証機能	ユーザーを識別するような認証機能の有無
権限管理	DBオブジェクトに対する権限付与する機能の有無
DB監査	操作の履歴である監査証跡（ログ）機能の有無

調査結果比較

以下は、調査結果を比較した表です。

調査項目	Presto	Apache Drill	Dremio	Dremio (製品版)	PGSpider
対応プログラム言語	△	〇	△	△	〇
アクセス可能なDB	△	△	〇	〇	◎
クエリ言語	〇	〇	〇	〇	〇
マルチテナント	Ｘ	Ｘ	Ｘ	〇	〇
インデックス	Ｘ	△	Ｘ	Ｘ	Ｘ
トランザクション	Ｘ	Ｘ	Ｘ	Ｘ	△
ストアドプロシジャ	Ｘ	△	Ｘ	Ｘ	〇
dockerコンテナ	〇	〇	〇	〇	△
性能拡張	〇	〇	〇	〇	◎
高可用性	Ｘ	Ｘ	〇	〇	〇
運用	Ｘ	Ｘ	〇	〇	〇
通信暗号化	〇	〇	Ｘ	〇	〇
DB格納領域の暗号化	Ｘ	Ｘ	Ｘ	Ｘ	〇
認証機能	〇	〇	Ｘ	△	◎
権限管理	〇	〇	〇	〇	〇
DB監査	〇	〇	Ｘ	Ｘ	〇

詳細の調査結果は以下に掲載しています。

• Prestoの調査
• Apache Drillの調査
• Dremioの調査
• PGSpiderの調査

まとめ

IoTデータのビッグデータ検索で分散型SQLクエリエンジンを使用することを考えると、マルチテナント機能は外せません。また実運用を考えると高可用性、運用、セキュリティを考慮する必要があります。この条件では、Dremio(製品版)と PGSpider という2択になります。Presto は、高可用性、運用面を自前で対応すれば、選択肢に挙がってきます。現時点では、あえて Apache Drill を選択する理由はないと考えます。

掲載内容は、(株)東芝 デジタルイノベーションテクノロジーセンター及びソフトウェア技術センターの見解です。コメント等は広くご意見を頂ければ幸いです。

また、記述について誤りがあったり、気になることがあれば、編集リクエストやコメントでフィードバックしていただけると助かります。