Redshift

Redshiftってなんだ？
データベースなの？
分析ツールなの？

って感じでふわっとした感覚の方いらっしゃると思います．

今回はRedshiftを完璧になるまで説明していきます!!

データウェアサービスとかいう説明

よくある記事では，よくわかってもいないのに，
「データウェアサービス」なんて定義しますが，
説明できるのでしょうか．
そんな言葉覚えなくていいです．

「データベースではありません」
なんて言ってる方もいますけど，Amazonがデータベースとして定義しています

ほらね

Redshiftとは，
データを蓄積して，分析してくれる

これでOK.

大量のデータを分析したい時．
人間の目では判断できない，関連性なんかを教えてくれます．

なんで大量のデータ分析でRedshift使うんだ??

と思いませんか？

Redshiftでは並列でデータを処理しています．
なので超早い．

クラスターっていうものをまず作ります．
(群れって意味です)
このクラスターで色々設定してRedshiftを作っていきます．
まず，最初にインプットしてほしいもの，

リーダーノード
コンピューティングノード

です

リーダーノードが親
コンピューティングノードが子
というイメージでまずはok

リーダーノードはクラスターに1つしかありません．
こいつが子に命令をするんですね〜

コンピューティングノードはクラスターに複数持たせられます．
コンピューティングノードが多ければ多いほど，分析スピードは早くなります．

先ほど説明した並列処理ですね！！

複数のノードを持たせることが出来ます
これから説明しますが，DCなら1~32 , RA3なら1~128まで持たせられます．
多いと分析早いけど，お金がかかるよ！！

従来ではノードのタイプが二つありました．
Dense Compute(DC)...SSDを使って作成．500GB未満のデータを扱うときはこっち
Dense Strage(DS)... HDDを使って作成.容量が多いときはこっち．

SSDは内部にあるストレージでしたね
HDDは外部のUSBとか外付けのストレージです．

SSDの方が処理が早いけど容量に限界があります．
HDDは容量多いです．

しかし，12/03に発表があった「RA3」っていう新しいノードタイプが生まれたんですね〜

『RA3』の特長は、ストレージに「SSD Cache」と「S3」の2つのストレージ組み合わせた構成です。

具体的には、参照する頻繁が高いデータブロックはコンピュートノード本体のSSD Cacheにつねに保持して、更新・追加が生じたデータブロックはS3に保存します。

まだRA3使ってませんが，DSよりも10倍早いらしいですよ．

Redshiftの特徴は，普通のDBは行指向型ですけど，列指向型なんです．
「は?」と思いました?

大丈夫!説明します!!

というテーブルがあります．
普通だと，
Aさん男性，18才というようなアクセスですが，
Redshiftの場合，
年齢は18才，23才, 26才，35才，32才，17才　がいます！！

というアクセスをするんですね！

つまり，平均は25才！！
データの分析に向いているんです！！

自動で検知して正常なノードと交換してくれます．
障害が発生したら別のノードで補ってくれるよ．(複数設定できましたよね！)

でも，1つしかノードを設定していない場合，復元不可能になります．
実際に使うときは必ず2つ以上のノードを使用すること!!

以上でRedshiftの説明は終わり．
これ読んで実際にクラスター作ってみましょう!!

ではでは