もう1年以上前の話なので忘れていることも多いけど･･･
私は1年前以上から「Apache SparkとApache Icebeg」でデータレイクハウスシステムを構築しては遊んでいます。
その時の話を少し話しましょう。
データレイクを作っていたつもりなのですが
私は、以下の本を読んで感銘を受けていました。
データレイクはオブジェクトストレージを基盤としたシステムでS3で作れると書いてあったので
「じゃぁMinIOでもできそうじゃん」と思ったのが発端です。
材料を集めるところからはじめた
材料は最初MinIOだけで良いと思っていたのですが、なんかいつの間にか以下の材料を集めてきていました。
- MinIO
- PostgreSQL
- ApacheSpark
あつめて作っているうちにそれを上司に報告するためレポートに「データレイクシステム」と書いていたのですが、なんか書いているうちに「データレイクハウス」でないかという疑問がわいてきました。というより「データレイクハウスシステム」とはなんだ？という疑問がわいてきて自分が作っているシステムが「データレイクシステム」なのか「データレイクハウスシステム」なのか境界が曖昧になってきました。
今ではデータレイクハウスと胸を張って言えるようになりました。
今は私のシステムは「データレイクハウスシステム」であると言えるようになりました。
ちょっとした苦労話
作ったときにちょっと苦労した話をしましょう。
私はMaven構築時を初めて触りました。
Mavenは枯れた技術なのだろうと思いますが、その解説記事が余り発達しておらず、どうやってDockerで構築するときにこれらのものを落としてくれば良いのかかなり悩みました。
あと、新規開拓していたので「これが正解」というのがわからなかったのでかなり手探り感がありました。
これからのデータレイクハウスシステムでの問題点
これからMinIOは使いづらくなります。皆様ご存じかと思いますが、MinIOはコミュニティ版を出しにくい環境になっています。今後はMinIOの代替案が必要になってきます。
こちらにMinIOでお困りのかたは是非ご投稿ください。
ではでは。