本記事の目的
業務において、「定期的にクライアント企業様から送られてくるローデータをデータウェアハウスに流し込む」という定期作業を行うことになり、それに伴って、 データベース関連の知識が必要 になったため、1ヶ月ほどかけてざっと学習しました。
今回はそこで得た知識を共有することを目的とします。
本記事の内容
本記事では、「そもそもデータベースにはどのような種類があるのか」ということを整理していくとともに、データベースの形態が変化していった経緯にも迫ってみたいと思います。
データベースの種類
データベースの種類には、現在大きく分けて３つの種類があると言うことができます。
「データベース」、「データウェアハウス」、「データレイク」の３つです。利用者側は自分達の利用目的に応じてどれを使うのかを選択していくわけですが、それぞれの違いというものを以降で確認したいと思います。
ただ、一度に３つの違いを確認するのは少々骨が折れるので、まずは よく使われるデータベースとデータウェアハウスの違いを確認 していこうと思います。
データベースとデータウェアハウスの違い
まず、データベースとは、「データを蓄積していく基地」のことを言います。データを蓄積していく基地という意味では、データウェアハウスも同じものなので、前提として、「概念的にはデータウェアハウスはデータベースに含まれる」と言うことができます。
しかし、 利用目的や特性に応じて 「データベース」と呼ぶか、「データウェアハウス」と呼ぶかを区別している感じです。それぞれを区別するためのいくつかの基準も存在するので、それらの基準をもとに区別してみたいと思います。
①データ処理方法による違い
データに対してどのような処理を求めるのか によって、「データベース」なのか「データウェアハウス」なのかを区別することができます。
大量アクセス処理ならデータベース
大量アクセス処理とは、 OLTP（Online Transaction Processing） という考えに基づいた処理方法であり、 日々増えてくデータを確実に登録し、小さいサイズのデータ取得依頼に対し迅速に応えることに特化している という特徴や、 大量に発生する読書きアクセスに対して同時で実行することに特化している などの特徴を持つ。
つまり、「登録されているデータに対するデータ取得などのアクセスに対して強い」と言うことができます。
一般的なECサイトやソーシャルゲーム、社内システムなどに用いられる場合が多く、具体的なサービスとしては「Oracle DB」、「MySQL」などがある。
大量データ処理なら「データウェアハウス」
大量データ処理とは、 OLAP（Online Analytical Processing） という考えに基づいた処理方法であり、大量に蓄積されたデータを分析することに特化している という特徴を持つ。 通常膨大なデータ量を扱って分析するにはそれ相応の施設が必要だが、最近では クラウド で従量課金制を取り入れながら提供されているサービスがほとんど。
具体的なサービスとしては、「Amazon Redshift」、「BigQuery」、「Azure Synapse Analytics」、「Treasure Data」など。
👉AWS Amazon RedShift公式
👉Google BigQuery公式
👉MicroSoft zure Synapse Analytics公式
👉Treasure Data公式
②利用シーンによる違い
データ処理方法が違えば、当然利用シーンも異なってきます。
日常的で同時アクセス処理が必要な場合の利用なら「データベース」
日常的にデータの保存、取得、更新、削除などが必要となっており、かつ大量の読み書きアクセスが想定される場合はデータベースの利用が望ましいでしょう。
(例)病院が新しい患者のデータを入力する。
(例)顧客がオンラインウェブサイトでチケットを購入する。
(例)顧客がネット予約で予約した内容を変更する。
大量のデータを使って分析するための利用なら「データウェアハウス」
多くの媒体からのデータ収集が必要であり、過去、現在、未来の問題を考えるといったより大規模で高度な分析を必要とする場合にはデータウェアハウスの利用が望ましいでしょう。
(例)数多くのSNSを利用したアンケートの結果を収集し、分析をする。
→ ちなみに私が今携わっている業務はまさにこれに似た業務です！！
③求められるサービスレベルによる違い
利用シーンが違えば、それぞれに求められるサービスレベルも違ってきます。
データベースにはほぼ24時間の稼働が必要
日常的な処理が必要ということからも分かる通り、データベースは24時間しっかりと稼働していることが重要です。 少しのダウンタイムがあるだけでも、大きなリスクになることがあリます。
データウェアハウスにはダウンタイムがあっても大丈夫
「データの分析のための利用」ということからも分かる通り、ダウンタイムはそれほど大きな問題ではありません。実際、ほとんどのデータウェアハウスでは、より多くの情報がアップロードされる時、定期的にダウンするように設定されているようです。
④提供されている機能による違い
「データ処理方法」や「利用目的」の違いからも分かる通り、当然搭載される機能も違ってきます。
データベースは「CRUD操作」のための機能が充実
データベースは CRUD操作（作成、読み込み、更新、削除）が軽快に行えるように最適化 されている一方で、 より複雑な分析クエリを実行すると、その性能は急速に低下してしまう という点もあります。
データウェアハウスは「複雑な分析クエリ」のための機能が充実
データウェアハウスは処理速度よりも、 複雑な分析クエリへの対応力 という点を重視しています。
⑤データ構造による違い
データベースは「正規化」が特徴
データベースでは、高速なクエリ操作が重要なため、「データの正規化」が行われた状態で保管されています。これにより処理速度の向上につながり、レスポンスタイムが削減されるというメリットがあります。
データウェアハウスは「非正規化」が特徴
データウェアハウスでは、クエリのスピードは重要ではなく、あくまで「分析」に特化していることが重要です。重複データなどを気にする必要はなく、「非正規化」の状態でデータが格納されているのが一般的。分析のための読み取り動作を優先させるくらいです。
以上の違いを表にまとめると以下のようになります。結構区別できるものですね。
データレイクとは
データベースとデータウェアハウスの違いがある程度分かったところで、データレイクとは何なのかを確認していくことにしましょう。
データウェアハウスは「分析に特化している」という特徴を持つが、その 分析に使用したいデータには様々な形式のモノがあります 。そういったデータを詰め込んでおく場所、つまり 画像ファイルや音声ファイル、テキストファイルなど、様々なデータを一か所で大量に保存しておくことができるデータ基地が必要 ということになる。その役割を果たすのが データレイク 。
データウェアハウスに入っているデータは加工された「構造化データ」であるが、データレイクに入っているデータは加工されていない「ローデータ」である。
データレイクに入っているデータを必要に応じて加工し、データウェアハウスで管理するというやり方ができる。
「データレイクとは？DWHとの違いや活用事例を解説！」より引用
(https://www.it-comm.co.jp/media/what-is-a-data-lake#toc-3)
データベース→データウェアハウス→データレイクと次々に登場してきた背景
ここまで、データベースとデータウェアハウスとデータレイクの違いをある程度把握できたと思いますので、ここからは、 なぜデータベース→データウェアハウス→データレイクと次々に登場してきたのか、その背景を順を追って確認 して行きたいと思います。
①エクセルの限界
元々データの管理といえば、「エクセル」でした。一番身近なデータ管理ツールでもあります。しかし、エクセルにも限界というものがあります。
- 限界1. 大量のデータの処理が苦手
- 限界2. 操作性が低い（行列の追加や削除操作など）
- 限界3. データ型を指定できない(間違ったデータの混入の恐れ)
②データベースの活用
エクセルの弱点を補うため、このデータベースを利用するという選択肢が生まれます。このデータベースは基本的にデータベースサーバーに存在します。エクセルの弱点を補う特徴として以下のようなものがあります。
- 特徴1. 大量のデータも対応可能
- 特徴2. SQLという言語を使ってコマンドで操作できるので自動化が期待できる
- 特徴3. データの保存形式(データ型)を細かく設定できる
その中でも特に多く使用されているのが RDB(リレーショナルデータベース) であり、 データをその種類ごとに別々のテーブルで管理し、互いに紐づけることで、大量のデータに対しても簡単に操作できるようになっています。
③データベースからデータウェアハウスへ
データベースの強みは、「データの更新に応じたリアルタイムな結果反映」です。
例えば「お店の予約サイト」があったとして、お客様が予約を入れたら、結果をデータベースに登録すると同時に画面上に即時反映するなどの機能に長けているということになります。
しかし、先ほどの違いの部分でも触れましたが、それがゆえに 大量のデータを扱うとなったら、時間のロスが生まれてしまう危険もあるのです。
それならば、 更新の余地がないデータ部分に関しては、別の場所に溜めていき、「必要な時に表示する」という機能に特化させればよいのではないか 。そして データの更新とリアルタイムに結果を反映する必要のあるデータのみをRDBで管理すればいいのではないか 。
このような考えから、「データウェアハウス」が生まれたわけです。
例えるならば、 データベースはまだ編集の必要のある「エクセルファイル」 で、 データウェアハウスはもう編集の必要のない「PDFファイル」 と言うことができます。データベースは即時反映のスピードを求められるがゆえに、大きなストレージが必要となるため、値段も高くなりやすいです。一方、データウェアハウスはそこまでスピードは求められないため、大容量でも安い値段で運用することができるという違いもあリます。
④データレイクの登場
次にデータレイクの登場ですが、この背景を分かりやすくお伝えするため、別の例を出させていただきます。
例えばある日、太郎君がAという飲食店で食事をしました。そして太郎君はその日の夜にコンビニでビールとおつまみを買いました。この時太郎君はレシートを撮影していました。もし、このレシートの画像ファイルを「飲食店での注文記録」というデータのある場所で一緒に管理することができれば、よりよいマーケティングが行えるのではないかという考えになるはずです。
このような考えをもとにして登場したのが「データレイク」というわけです。 様々な形式のデータを一か所に溜めこんでおけるという特徴があり、しかもかなり大容量 です。ここに溜まったデータの中から必要な分を抽出して分析するときにデータウェアハウスを使うといった使い分けになります。
「データレイクとは？DWHとの違いや活用事例を解説！」より引用
(https://www.it-comm.co.jp/media/what-is-a-data-lake#toc-3)
まとめ
今回は、データベース、データウェアハウス、データレイクについて、その違いを中心に解説しました。私自身今の業務を経験することがなかったとしたら、データサイエンティストを目指すでもない限り、これらの違いについて調べるなんてことはしなかったと思います。
そういう意味でも、貴重な体験ができていると素直に受け止めています。皆さんのデータウェアハウス活用事例などもお聞きしてみたいですね。