エッジコンピューティングによって高性能化したエッジ機器にデータが格納されるようになると、クラウドサービスにデータを集めないでエッジ機器のデータを直接検索したいとニーズが生まれてきました。そして、IoT(Internet of Things) システムでは広域に分散されたエッジ機器のデータ群を高速に検索するために、マルチデータベースにアクセスできる分散SQLエンジンが求められています。そこで、データレイク・エンジンの Dremio についてまとめました。
動作環境やライセンスなど基本情報から、対応プログラム言語、可用性、拡張性など機能情報やセキュリティまで掘り下げて、以下のようにまとめました。

Dremio

Dremio は、MongoDB、JSON ファイルといった非構造型のデータや、Redshift、PostgreSQL、SQLServer といった従来の構造型のデータに対して統一した SQLインターフェイスを提供します。さらに、そうしたさまざまな種類のデータソースに対してクエリの最適化とデータのキャッシュの管理を自動的に行います。また、Apache Arrow を使用したカラムナーのインメモリ処理と、元となるデータソースへの先進的なプッシュダウンを活用し、Apache Parquet によるデータソースの高度に最適化された物理的表現を利用することで、クエリパフォーマンスの高速化を可能とします。
Dremioは1つ以上のCoordinatorと1つ以上のExecutorを持っています。
参照 : Dremio Document : Introduction、Architecture

基本情報

項目	内容
URL	https://www.dremio.com/
データモデル	不明
動作環境	CPU： 64 bit CPU メモリ：最大2GBのヒープメモリ、4GBの直接メモリ(MacOS X の場合) ストレージ： OS：RHEL、CentOS 6.7以上、CentOS 7.3以上、Windows7以上、MacOS 10.12以上 Software : 64 bit Java Development Kit version 1.8、Webブラウザ(Google Chrome 54以上、Apple Safari 11以上、Mozilla Firefox 50以上、Microsoft Edge 14以上、Microsoft Internet Explorer 11以上) 参照 : Dremio Document : Standalone Quickstart
実装言語	Java
ライセンス	Community Edition は Apache License, Version 2.0 Enterprise Edition は製品ライセンス(1契約ごとに年間1万2000ドル) 参照 : Dremio Enterprise Edition
主なバージョン	Release 3.3 (2019-07-29) : AzureストレージOAuth認証、シングル・サイン・オン Release 3.2 (2019-05-10) : Azureストレージへ接続が可能、クラウド・オーケストレーション・テンプレートの追加 Release 3.1 (2019-01-18) : Hash Aggregation Spilling機能の追加、コネクタ・フレームワークの増強参照 : Dremio Document : Release Notes
開発元	Dremio
開発体制	Contributorは、3名 Contributorは、Contributor License Agreement を締結する必要がある
活動状況	dremio communityの投稿月間平均約 100件、GitHubでソースコード・コミット月間数件参照 : dremio community、 GitHub Commits
国内サポート体制	現時点で国内での保守サポートサービスを行っている企業、団体はありません
その他	OSS版では、メジャーDBのドライバーの使用などで、かなり機能が制限されています。また、現時点で使用できる機能であっても使用不可になる可能性があります。参照 : readme

機能情報

項目	内容
対応プログラム言語	ODBC、JDBCドライバを利用可能なプログラム言語であればアクセス可能参照 : Dremio Document : Client Connectivity
アクセス可能なDB	PostgreSQL、MySQL、Oracle、Microsoft SQL Server、IBM DB2 (Enterprise Edition のみ)、Amazon Redshift、Azure Data Lake Store、Amazon S3、HDFS、NAS、MapR-FS、Elasticsearch、Amazon Elasticsearch Service、Hive、HBase、MongoDB 参照 : Dremio Document : Data Sources
クエリ言語	SQL
マルチテナント	Multi-tenant workload controls という機能でマルチテナント機能を実現しています(Enterprise Edition のみ)
インデックス	なし
トランザクション	なし
ストアドプロシジャ	なし
dockerコンテナ	dockerhubで、dremio community editionのDocker Containerイメージが公開されています。 https://hub.docker.com/r/dremio/dremio-oss/
性能拡張	1～1,000以上のCoordinatorノードでスケールアウトを実現しています参照 : Dremio Document : Cluster Deployments
高可用性	バックアップ・コーディネータ・ノードを用意することで高可用性を実現します。ZooKeeper がアクティブなコーディネータ・ノードを監視していて、ダウンした場合、バックアップ・コーディネータ・ノードにフェイルオーバーを実施します。 Dremio Document : High Availability
運用	メタデータとユーザがアップロードしたファイルはバックアップ/リストアすることが可能です。バックアップにはキャッシュの内容、ダウンロードファイル、検索結果を含みません。また、Dremio UIと呼ばれる管理者ツールが提供されます。参照 : Dremio Document : Backup Dremio、 Restore Dremio
出来ないこと

セキュリティ

項目	内容
通信暗号化	すべての通信は、TLSに対応可能しています(Enterprise Edition のみ)
DB格納領域の暗号化	ありません
認証機能	LDAP 認証(Enterprise Edition のみ)
権限管理	Dremio UIからデータセット、ソース、スペース、フォルダに共有や権限の設定が可能です。権限は UNIXベースの権限を設定しています。
DB監査	ありません

参照 : Dremio Dcoument : Data Security

まとめ

Dremio は分散型SQLクエリエンジンに特化しているため、一般的なDB機能はサポートしていませんが、高可用性、運用面は考慮されています。ただし、マルチテナント機能、セキュリティを考えると製品版を使用することになりそうです。

掲載内容は、(株)東芝デジタルイノベーションテクノロジーセンター及びソフトウェア技術センターの見解です。コメント等は広くご意見を頂ければ幸いです。

また、記述について誤りがあったり、気になることがあれば、編集リクエストやコメントでフィードバックしていただけると助かります。