本記事は オルトプラス Advent Calendar 2023 の12/22の記事です。
尚、 TiDB Advent Calendar 2023 「TiDB Serverless 使うの?使わないの?どっちなの?(使う編)」の記事をクロスポストした記事になります。
はじめに
どうも!!オルトプラスの浦谷(urachooooooo)です
所属は技術部SREでテックスペシャリストとして横断的にデータベースを見ています!!
肩書きはエンジニアマネージャーですが生粋のDBAです!!
本記事ではPingCAPさんのマネージドサービス「TiDB Serverless」について導入するまでのチュートリアル的な内容を書いていきます。
それでは22日目のアドベントカレンダー開始しますー!!
TiDBについて
もはやお約束みたいなものなのですが、もっと認知度を広めるために!!
TiDBはPingCAPさんが開発したHTAPワークロードをサポートする分散データベースであり、NewSQLです。
MySQLとの互換性が高く、MySQLのインターフェースをそのまま使用できるのが特徴です!!
尚、TiDBの各コンポーネントは独立しているためノーメンテでスケールできるため、24時間365日運用も可能!!
(TiDBの各コンポーネントについては次のフェーズで簡単に説明します)
以上、TiDBのお約束でした。
【NewSQLについて】
NewSQLは既存のデータベースのアーキテクチャーを捨てて分散データベース用としてゼロベースから設計して構築された全く新しいデータベースです。
もっと簡単に説明すると「RDBとNoSQLのいいとこ取りなデータベース」で、従来のRDBでは実現出来なかった書き込みのスケールが出来るようになりました。
TiDBのコンポーネントについて
-
TiDBアーキテクチャ
TiDBのコンポーネントは上記イメージの通り大きく分けて4つあります。
TiDBの主要コンポーネントである「PD」・「TiDB」・「TiKV」・「TiFlash」について簡単に特徴を説明します。(こちらもお約束みたいなものです。)
PD(Placement Driver)
- TiDBの基本コンポーネント
- クラスター全般の管理を行う頭脳で領域管理のレイヤー
- クラスター全体のメタデータ情報「Metadata」の管理
- データの配置場所「Data location(Region)」の管理
- トランザクションを割り当てるための「TSO」の発行
- Raftグループの管理
- etc.
【Regionについて】
RegionはTiDBの最小単位で1テーブル作成時に1つ作成される領域です
【TSOについて】
TSOは「Timestamp Oracle」の略で、クラスター全体でユニークになるタイムスタンプで必ず昇順で発行し、TiKVのトランザクションで使用します。
TiDB
- TiDBの基本コンポーネント
- SQLを解析するレイヤー
- MySQL protocolから送られたパケットを元に実施
- 「Parser」がSQLの構文を解析
- 「Optimizer」がクエリプランを計画
- 「Executor」がSQLステートメントを実行
- MySQL protocolから送られたパケットを元に実施
- ステートレスなのでデータを持たない
- 特にスケールし放題な箇所
TiKV
- TiDBの基本コンポーネント
- Key-Valueの構造でデータを永続化するデータストアレイヤー
- 分散型Key-Valueストレージエンジン
- ストレージはRocksDBを使用し、データ構造はLSM Treeを使用する
- データを保存するための基本単位はRegion
- Raftアルゴリズムによりデータの整合性を担保する
- トランザクションを提供する
TiFlash
- 必要に応じてpluggableに追加するコンポーネント
- 列指向の構造でデータを永続化するデータストアレイヤー
- 列指向ストレージエンジン
- 分析処理を行う場合に使用する
- Raft Learnerコンセンサスアルゴリズムによる非同期レプリケーション
- 元データは「SET TIFLASH REPLICA」で指定されたテーブル(TiKV)から取得
- 行から列に変換(スキーマレスからスキーマへの変換)のため読み取り専用
- HTAP(Hybrid Transaction Analytical Processing)要件を満たす事ができる
TiDBの製品について
TiDBには大きく分けて2つあリます。
1つはTiUPコマンドを使用してオンプレミスまたはクラウド内にデプロイして環境構築するOSS版の「TiDB」、もう1つはTiDBのフルマネージドサービスである「TiDB Cloud」です。
更にTiDB Cloudは2つのカテゴリーに分けられています。
「TiDB Dedicated」と「TiDB Serverless」です。
尚、旧名はTiDB Cloud「Serverless Tier」と「Dedicated Tier」だったのですが、
2023年06月23日(金)から上記の正式名称になりました!!
TiDB Cloudついて
今回使用する「TiDB Serverless」はTiDB Cloudであるため、
「TiDB Dedicated」と「TiDB Serverless」についてもう少し違いを記載していきます。
TiDB Serverless
TiDB Serverlessは、5つのクラスターを無料で使用することができます。
(この無料枠があるので気軽に試すことができます!!)
尚、月毎に無料枠の使用上限が決まっているため、無料枠のリソースを使い切った場合は消費リソースに応じて課金(従量制料金)する仕組みです。
TiDBのコンポーネント「PD」・「TiDB」・「TiKV」・「TiFlash」のリソース割り当てについて考える必要がないのもメリットです。
必要に応じて必要なリソースを使用することができるので、本番環境でもアクセスが少なく変動のあるアプリケーション(例えば0時のアクセスだけアクセスが集中してスパイクする等)や開発環境に向いているかと思います!!
- 主な特徴
- 5つのクラスターを無料で使用することができる
- 6つ目のクラスターを作成する場合は、クレジットカードを追加する必要がある
- 無料枠は
- 行ベースのデータ5GiBを保存可能
- 列ベースのデータ5GiBを保存可能
- 5000万RUを消費することが可能
- 「Chat2Query」を試すことができる
- マルチテナントアーキテクチャを採用
【RUについて】
RUは「Request Unit (RU) 」の略で、データベースへの1つのリクエストにつき消費されるリソースの量を表すために使用される単位です。
TiDB Dedicated
TiDB DedicatedはTiDBの各コンポーネント「TiDB」・「TiKV」・「TiFlash」に対してあらかじめ必要な「CPU・メモリ・ストレージ」を指定したリソースコントロールを行うことができます。
なので、無料枠はなく有料版のみになります。
尚、TiDBの基本構成である「PD」はTiDB Dedicatedの管理下にあるため不要です。
- 主な特徴
- 有料版のみ
- TiDB Cloudの全機能を利用可能
- トラフィック量に応じて柔軟にスケールアウト・スケールインが可能
- 「TiDB」・「TiKV」・「TiFlash」
- シングルテナントアーキテクチャを採用
まずは試してみる
TiDB Serverlessは無料で使えるので気軽に試すことにします!!
ではクラスターを作成しましょうー!!
って・・・まだアカウント無いので作ります💦
TiDB Cloudアカウントにサインアップ
まずはサインアップして「TiDB Cloudコンソール」へログインしよう!!
1. 「無料トライアル」ボタンを見つけて押す
PingCAPさんの公式サイトのTOPに飛ぶと「無料トライアル」のボタンがあちこちあるのでポチって押す所が第一の関門である!!
もしポチって押す事が出来たら「TiDB serverless」への冒険が始まる。
さぁー勇気を出してポチるのだ!!
2. サインインする
勇気を出してポチる場所を間違えました💦
ここからが勇気を出してポチる場所です!!
といった冗談はさておき、もしサインインしていなければ「TiDB Cloudコンソール」へログインするためにアカウント登録が必要です。
尚、自分は「Googleアカウント」を使用したSSOログインを選択しました。
なので、以降の手順は「Google SSOでサインインする」の手順になります。
3. googleアカウントを選択する
4. 同意して開始。そして「TiDB Cloudコンソール」へログイン
同意事項にチェックを行い「Get Started」ボタンを押下すると「TiDB Cloudコンソール」へログインしてクラスターのリストが表示されます!!
この時点で「Cluster0」が作成されます。(このクラスターは初めて作成した記念として削除しないで取っておくことにします!!)
初期セットアップ
作成されたクラスターの接続設定を行いTiDB Serverlessへ接続しよう!!
1. 対象のクラスターを選択して接続設定
まずはクラスターに接続するための接続設定を行う必要があります。
手順の通り、クラスター名をクリックして「Connect」ボタンを押下します。
2. 接続時の設定
詳細な接続方法が選択できるので必要に応じて設定方法を変更します。
この例はカジュアルに試すためエンドポイントタイプは「Public」、接続先は「macOS」としていますが、エンドポイントタイプが「Public」の場合はセキュリティに影響するためエンドポイントタイプは「Plivate」とした上で「プライベートエンドポイント」を設定した接続が推奨となっています。
- パブリックエンドポイント
- TiDBサーバーレスにはTLS接続必要
- TLS接続によりアプリケーションからTiDBクラスターへのデータ送信のセキュリティが確保される
- プライベートエンドポイント(推奨)
3. TiDB Serverlessへ接続
接続情報をコピーして接続できました!!
尚、MySQLクライアントのインストールが必要になります!!
新規クラスター作成
もう1台クラスターを作成しよう!!
1. 手順に従い「Serverless」を作成
デフォルトのTireは「Serverless」であり、クラスター名もデフォルトで連番の「Cluster1」が設定されているため何もすることなく作成ボタンを押下すればクラスターが作成されます。
これぞマネージドサービス!!
尚、作成ボタンを押すと「Overview」画面へ自動的に遷移して、暫くすると「Connect」ボタンが有効になって押せるようになるので押します。
2. 接続時の設定
クラスター毎に接続設定を行う必要があるため設定を行う。
尚、各クラスター毎に接続情報が異なるため情報を管理する必要があります。
3. クラスターが作成されていることを確認
作成されたクラスターが「Clusters」画面に表示されたら成功です!!
パスワードリセット
パスワードを再設定しよう!!
1. パスワード変更対象のクラスターを選択して接続設定
対象のクラスターを選択すると「Overview」画面へ遷移するので「Connect」ボタンを押して接続設定画面へ
2. パスワードをリセット
上記イメージの通り、パスワードは何回でもリセット可能です。
なので、パスワードを忘れたらとりあえずリセットする運用もありかもしれませんね!!
クラスター削除
使用しないクラスターを削除しよう!!
1. クラスターリストから対象を選択して削除
削除対象のクラスターの「Action」から「Delete」を選択するとクラスターを削除できます。
尚、削除するためには「削除するための確認文字列」を入力する必要があるため、入力して確認後に削除する必要があります。
(初回に作成された記念クラスターも誤って削除してしまうリスクが下がりますw)
無料枠作成上限でのクラスター作成
無料での作成上限を超えたをクラスター作成時にどうなるのか?を確認しましょう!!
1. 5つのクラスター存在時にクラスターを作成開始
クラスターが無料の上限「5クラスター」存在時の状態で「Serverless」を選択すると、今まで表示されていなかったメッセージが赤色で表示されるようになります。
2. メッセージが出た状態で「Create」ボタンを押してみる
それでも押したいのが人間である。作成ボタンを(うっかり)押してしまった場合は、そりゃそうなるよ!!と言わんばかりにエラーが出て作成出来ないだけです!!
尚、ノールックでボタンを押した場合でもエラーになります。
3. 上限以上のクラスターを作成する場合
クレジットカードを登録すれば無料枠の制限から解放されます!!
「mysql_config_editor」を使用した接続
ログインパスを設定しよう
(MySQLが使用できるため「mysql_config_editor」も使用できます!!)
- TLSの情報を除いた情報を元に設定する
mysql_config_editor set --login-path=tidb-serverless --user='tidbServerless.root' --host=gateway01.ap-northeast-1.prod.aws.tidbcloud.com -P 4000 --password
- パスワードを設定する
Enter password:
- ログインパスを指定して接続(PublicのみTSLのオプションが必要)
mysql --login-path=tidb-serverless --ssl-mode=VERIFY_IDENTITY --ssl-ca=/etc/ssl/cert.pem
(おまけ)作成の雰囲気だけでも!!
まとめ
TiDB Serverlessの無料枠を試してみました!!
(本当に無料で使い続けていいのかな、ありがたい!!)
自分はCUIを使用して自動化させたいタイプなので、
TiUPコマンドを使用したTiDBクラスターの作成が好きだったのですが、
「あれ、GUIのインターフェースであるTiDB Cloudコンソールも悪くない!!」と思い更に、初回のクラスター作成時には「何て楽なんだ!!」と感動してしまいました!!
因みに、「TiDB CloudCLI」や「Terraform」で自動化出来そうです!!
(GUIもいいって言ってたじゃん💦)
お世辞抜きで本当に楽でした!!
やっぱり何でもやってみないとですねー
(やってみる或いはチャレンジは本当に大事!!)
次はTiDB Cloudの検証をせねば!!
そしてプロジェクトへの導入を目指して!!!