前回はカスタム構成でのインストールとして、異なるディスクタイプの利用と replicaset の数の変更、およびクラスタ名の変更を試しましたが、今回は SQL Server マスターインスタンスの高可用性構成を見ていきます。

SQL Server 2019 BDC の高可用性

高可用性対応は以下の 3 つのコンポーネントで行えます。

SQL Server マスターインスタンス
Spark
HDFS

SQL Server マスターインスタンス

SQL Server 2019 BDC は k8s 上で稼働していることから、ポッドの状態監視や自動的な再起動など、もともと高可用性を備えています。しかし、よりミッションクリティカルで継続性が求められる状況において、可用性グループを利用することができます。

可用性グループはもともと SQL Server の機能です。参照: AlwaysOn 可用性グループの概要 (SQL Server)

BDC で可用性グループを利用する場合、以下の動作となります。

containedag という可用性グループが作成される
既定で 3 つのレプリカが作成される
すべての CRUD 操作は内部的に処理されるため、可用性グループの作成や追加はできない
すべてのシステムとユーザーデータベースはそれぞれのインスタンスにコピーされる
可用性グループ固有のデータベースがいくつか追加される
読み取り専用セカンダリ用のエンドポイントが作成される

Spark の高可用性

Spark を高可用性にする場合、SparkHead ポッドを複数用意するだけでなく、処理を分散するよう Zookeeper も複数構成とします。Active/Standby 構成となります。

HDFS の高可用性

HDFS を高可用性にする場合、Name node ポッドを複数用意し、こちらも Zookeeper で管理します。Active/Standby 構成となります。

zookeeper の詳細は Apache Zookeeper を参照してください。

高可用性構成でのインストール

高可用性は azdata の既定の構成でサポートされているため、今回はそちらを利用してインストールします。

構成ファイルの確認

以下コマンドで高可用性用構成をコピー

azdata bdc config init -s aks-dev-test-ha -t custom-ha
code custom-ha

このテンプレートは SQL Server マスターインスタンスの高可用性の他、HDFS のネームノードおよび Spark の高可用性も設定がされています。

[HDFS 関連]

nmnode, sparkhead ともに Active/Standby として replicas が 2 に設定
zookeeper の replicas が 3 に設定
記憶域プールの replicas が 3 に設定
hdfs サービスの設定で replication が 3 に設定

bdc.json

{
    ...
    "spec": {
        "resources": {
            "nmnode-0": {
                "spec": {
                    "replicas": 2
                }
            },
            "sparkhead": {
                "spec": {
                    "replicas": 2
                }
            },
            "zookeeper": {
                "spec": {
                    "replicas": 3
                }
            },
...
            "storage-0": {
                ...
                "spec": {
                    "type": "Storage",
                    "replicas": 3,
                    ...
                }
            }
        ...
        },
        "services": {
            ...
            "hdfs": {
                ...
                "settings": {
                    "hdfs-site.dfs.replication": "3"
                }
            },

ノードの追加

現在利用している L8s サイズの VM はディスクを最大で 32 までしかアタッチできませんが、HA 構成を既定のまま実施するとそれを超えます。また他のリソースも不足する可能性があるため、現在 1 台のノードを 2 台にスケールします。

az aks nodepool scale --cluster-name sqlbdc -g sqlbdcrg --name nodepool1 -c 2

インストールの実施

azdata コマンドで aks-dev-test-ha 構成をインストール

1. 以下コマンドを実行。

SET AZDATA_USERNAME=admin
SET AZDATA_PASSWORD=<password>
azdata bdc create --config-profile aks-dev-test-ha --accept-eula yes

2. インストールは 15-30 分程度かかる為、BDC 構成のビデオでも見て待つ。

3. 作成完了後、ポッドを確認。

各ポッドが指定された数だけ存在

>kubectl get pods --namespace=mssql-cluster
NAME              READY   STATUS    RESTARTS   AGE
appproxy-cnxnq    2/2     Running   0          25m
compute-0-0       3/3     Running   0          25m
control-k2z6g     3/3     Running   0          41m
controldb-0       2/2     Running   0          41m
controlwd-mc9mb   1/1     Running   0          37m
data-0-0          3/3     Running   0          25m
data-0-1          3/3     Running   0          25m
gateway-0         2/2     Running   0          25m
logsdb-0          1/1     Running   0          37m
logsui-b9fqz      1/1     Running   0          37m
master-0          4/4     Running   0          24m
master-1          4/4     Running   0          24m
master-2          4/4     Running   0          24m
metricsdb-0       1/1     Running   0          37m
metricsdc-94tbx   1/1     Running   0          37m
metricsdc-tbzmw   1/1     Running   0          37m
metricsui-wrvbk   1/1     Running   0          37m
mgmtproxy-z86nr   2/2     Running   0          37m
nmnode-0-0        2/2     Running   0          25m
nmnode-0-1        2/2     Running   0          25m
operator-79lkd    1/1     Running   0          25m
sparkhead-0       4/4     Running   0          24m
sparkhead-1       4/4     Running   0          24m
storage-0-0       4/4     Running   0          24m
storage-0-1       4/4     Running   0          24m
storage-0-2       4/4     Running   0          24m
zookeeper-0       2/2     Running   0          25m
zookeeper-1       2/2     Running   0          25m
zookeeper-2       2/2     Running   0          25m

4. SQL Server マスターインスタンスのセカンダリエンドポイントを確認。

>kubectl get svc master-secondary-svc-external master-svc-external --namespace=mssql-cluster
NAME                            TYPE           CLUSTER-IP    EXTERNAL-IP     PORT(S)           AGE
master-secondary-svc-external   LoadBalancer   10.0.36.208   52.xxx.xx.244   31436:31997/TCP   26m
NAME                            TYPE           CLUSTER-IP    EXTERNAL-IP     PORT(S)           AGE
master-svc-external             LoadBalancer   10.0.215.32   52.xxx.xx.171   31433:30076/TCP   26m

5. リソースの状況を確認。

>kubectl describe node aks-nodepool1-41170276-vmss000000
...
Non-terminated Pods:         (16 in total)
  Namespace                  Name                CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                  ----                ------------  ----------  ---------------  -------------  ---
  kube-system                kube-proxy-kpnqd    100m (1%)     0 (0%)      0 (0%)           0 (0%)         54m
  mssql-cluster              appproxy-cnxnq      100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         28m
  mssql-cluster              compute-0-0         100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         28m
  mssql-cluster              control-k2z6g       100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         44m
  mssql-cluster              controlwd-mc9mb     0 (0%)        0 (0%)      0 (0%)           0 (0%)         40m
  mssql-cluster              data-0-1            100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         28m
  mssql-cluster              logsdb-0            500m (6%)     0 (0%)      1Gi (1%)         2Gi (3%)       40m
  mssql-cluster              logsui-b9fqz        0 (0%)        0 (0%)      0 (0%)           0 (0%)         40m
  mssql-cluster              master-0            100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         27m
  mssql-cluster              master-2            100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         27m
  mssql-cluster              metricsdc-tbzmw     500m (6%)     0 (0%)      256Mi (0%)       1Gi (1%)       40m
  mssql-cluster              nmnode-0-0          100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         28m
  mssql-cluster              operator-79lkd      0 (0%)        0 (0%)      0 (0%)           0 (0%)         28m
  mssql-cluster              sparkhead-1         100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         27m
  mssql-cluster              storage-0-1         100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         27m
  mssql-cluster              zookeeper-0         600m (7%)     0 (0%)      2148Mi (3%)      0 (0%)         28m
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource                       Requests     Limits
  --------                       --------     ------
  cpu                            2600m (33%)  0 (0%)
  memory                         4328Mi (7%)  3Gi (5%)
  ephemeral-storage              0 (0%)       0 (0%)
  attachable-volumes-azure-disk  0            0
...
>kubectl describe node aks-nodepool1-41170276-vmss000001

...
Non-terminated Pods:         (21 in total)
  Namespace                  Name                                     CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                  ----                                     ------------  ----------  ---------------  -------------  ---
  kube-system                coredns-866fc6b6c8-2sdks                 100m (1%)     0 (0%)      70Mi (0%)        170Mi (0%)     59m
  kube-system                coredns-866fc6b6c8-kbk75                 100m (1%)     0 (0%)      70Mi (0%)        170Mi (0%)     55m
  kube-system                coredns-autoscaler-5d5695b54f-8c4xn      20m (0%)      0 (0%)      10Mi (0%)        0 (0%)         59m
  kube-system                kube-proxy-n4ht9                         100m (1%)     0 (0%)      0 (0%)           0 (0%)         56m
  kube-system                kubernetes-dashboard-6f697bd9f5-dvg9l    100m (1%)     100m (1%)   50Mi (0%)        500Mi (0%)     59m
  kube-system                metrics-server-566bd9b4f7-f7bfx          0 (0%)        0 (0%)      0 (0%)           0 (0%)         59m
  kube-system                tunnelfront-54d584d6c7-n9wkj             10m (0%)      0 (0%)      64Mi (0%)        0 (0%)         59m
  mssql-cluster              controldb-0                              100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         46m
  mssql-cluster              data-0-0                                 100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         29m
  mssql-cluster              gateway-0                                100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         29m
  mssql-cluster              master-1                                 100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         29m
  mssql-cluster              metricsdb-0                              0 (0%)        0 (0%)      0 (0%)           0 (0%)         41m
  mssql-cluster              metricsdc-94tbx                          500m (6%)     0 (0%)      256Mi (0%)       1Gi (1%)       41m
  mssql-cluster              metricsui-wrvbk                          0 (0%)        0 (0%)      0 (0%)           0 (0%)         41m
  mssql-cluster              mgmtproxy-z86nr                          100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         41m
  mssql-cluster              nmnode-0-1                               100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         29m
  mssql-cluster              sparkhead-0                              100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         29m
  mssql-cluster              storage-0-0                              100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         29m
  mssql-cluster              storage-0-2                              100m (1%)     0 (0%)      100Mi (0%)       0 (0%)         29m
  mssql-cluster              zookeeper-1                              600m (7%)     0 (0%)      2148Mi (3%)      0 (0%)         29m
  mssql-cluster              zookeeper-2                              600m (7%)     0 (0%)      2148Mi (3%)      0 (0%)         29m
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource                       Requests     Limits
  --------                       --------     ------
  cpu                            3030m (38%)  100m (1%)
  memory                         5716Mi (9%)  1864Mi (3%)
  ephemeral-storage              0 (0%)       0 (0%)
  attachable-volumes-azure-disk  0            0
...

6. ストレージを確認。

合計 44 本

>kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                            STORAGECLASS   REASON   AGE
pvc-2aefad27-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-nmnode-0-0    default                 30m
pvc-2af0f46e-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-nmnode-0-0    default                 30m
pvc-2af56cd9-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-nmnode-0-1    default                 30m
pvc-2afc3216-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-nmnode-0-1    default                 30m
pvc-2b224d13-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-compute-0-0   default                 30m
pvc-2b244ec7-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-compute-0-0   default                 30m
pvc-2c3b49ba-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-data-0-0      default                 30m
pvc-2c40353a-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-data-0-0      default                 30m
pvc-2c57b45c-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-data-0-1      default                 30m
pvc-2c5e3f11-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-data-0-1      default                 30m
pvc-2df0dc93-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-gateway-0     default                 30m
pvc-2df46634-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-gateway-0     default                 30m
pvc-2e05da4b-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-zookeeper-0   default                 30m
pvc-2e0a55a4-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-zookeeper-0   default                 30m
pvc-2e15c91c-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-zookeeper-1   default                 30m
pvc-2e1d5eb1-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-zookeeper-1   default                 30m
pvc-2e28190f-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-zookeeper-2   default                 30m
pvc-2e2fc20a-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-zookeeper-2   default                 30m
pvc-38b9bc73-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-master-0      default                 30m
pvc-38bd5e90-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-master-0      default                 30m
pvc-38c41485-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-master-1      default                 30m
pvc-38c74637-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-master-1      default                 30m
pvc-38cec031-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-master-2      default                 30m
pvc-38d4ca12-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-master-2      default                 30m
pvc-3da710d8-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-sparkhead-0   default                 30m
pvc-3da861a7-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-sparkhead-0   default                 30m
pvc-3db16c8e-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-sparkhead-1   default                 30m
pvc-3db85731-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-sparkhead-1   default                 30m
pvc-3dd12237-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-storage-0-0   default                 30m
pvc-3dd2eb0b-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-storage-0-0   default                 30m
pvc-3ddba73f-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-storage-0-1   default                 30m
pvc-3de3b549-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-storage-0-1   default                 30m
pvc-3de9b1d4-1cbe-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-storage-0-2   default                 30m
pvc-3ded9b05-1cbe-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-storage-0-2   default                 30m
pvc-7dc2e05b-1cbc-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-metricsdb-0   default                 42m
pvc-7dc64f44-1cbc-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-metricsdb-0   default                 42m
pvc-7ee0d66f-1cbc-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-logsdb-0      default                 42m
pvc-7ee414ad-1cbc-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-logsdb-0      default                 42m
pvc-d6ed6120-1cbb-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-controller    default                 47m
pvc-d7004244-1cbb-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-controller    default                 47m
pvc-d710af64-1cbb-11ea-a20b-dab52d93f0d4   10Gi       RWO            Delete           Bound    mssql-cluster/logs-controldb     default                 47m
pvc-d72065ea-1cbb-11ea-a20b-dab52d93f0d4   15Gi       RWO            Delete           Bound    mssql-cluster/data-controldb     default                 47m

azdata を使った確認

kubectl だけでなく、azdata でクラスタを確認、操作することができます。

1. クラスタへログイン。

azdata login -n mssql-cluster -n admin -p <password>

2. SQL Server プライマリインスタンスのエンドポイントをクエリ。

>azdata bdc endpoint list -e sql-server-master -o table
Description                           Endpoint             Name               Protocol
------------------------------------  -------------------  -----------------  ----------
SQL Server Master Instance Front-End  52.xxx.xx.171,31433  sql-server-master  tds

3. SQL Server セカンダリインスタンスのエンドポイントをクエリ。

>azdata bdc endpoint list -e sql-server-master-readonly -o table
Description                                    Endpoint             Name                        Protocol
---------------------------------------------  -------------------  --------------------------  ---あ-------
SQL Server Master Readable Secondary Replicas  52.xxx.xx.244,31436  sql-server-master-readonly  tds

4. ステータスを確認。

>azdata bdc status show


 Mssql-cluster: ready                                                            Health Status:  healthy
 =======================================================================================================
 Services: ready                                                                 Health Status:  healthy
 -------------------------------------------------------------------------------------------------------
 Servicename    State    Healthstatus    Details

 sql            ready    healthy         -
 hdfs           ready    healthy         -
 spark          ready    healthy         -
 control        ready    healthy         -
 gateway        ready    healthy         -
 app            ready    healthy         -


 Sql Services: ready                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 master          ready    healthy         StatefulSet master is healthy
 compute-0       ready    healthy         StatefulSet compute-0 is healthy
 data-0          ready    healthy         StatefulSet data-0 is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Hdfs Services: ready                                                            Health Status:  healthy
 -------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 nmnode-0        ready    healthy         StatefulSet nmnode-0 is healthy
 zookeeper       ready    healthy         StatefulSet zookeeper is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy
 sparkhead       ready    healthy         StatefulSet sparkhead is healthy


 Spark Services: ready                                                           Health Status:  healthy
 -------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 sparkhead       ready    healthy         StatefulSet sparkhead is healthy
 storage-0       ready    healthy         StatefulSet storage-0 is healthy


 Control Services: ready                                                         Health Status:  healthy
 -------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 controldb       ready    healthy         StatefulSet controldb is healthy
 control         ready    healthy         ReplicaSet control is healthy
 metricsdc       ready    healthy         DaemonSet metricsdc is healthy
 metricsui       ready    healthy         ReplicaSet metricsui is healthy
 metricsdb       ready    healthy         StatefulSet metricsdb is healthy
 logsui          ready    healthy         ReplicaSet logsui is healthy
 logsdb          ready    healthy         StatefulSet logsdb is healthy
 mgmtproxy       ready    healthy         ReplicaSet mgmtproxy is healthy
 controlwd       ready    healthy         ReplicaSet controlwd is healthy


 Gateway Services: ready                                                         Health Status:  healthy
 -------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 gateway         ready    healthy         StatefulSet gateway is healthy


 App Services: ready                                                             Health Status:  healthy
 -------------------------------------------------------------------------------------------------------
 Resourcename    State    Healthstatus    Details

 appproxy        ready    healthy         ReplicaSet appproxy is healthy

ADS からの接続

最後に ADS から接続して操作をしてみます。

1. ADS からプライマリエンドポイントへ接続。以下のクエリを発行。

CREATE DATABASE TestDB;
GO
USE TestDB;
GO
CREATE TABLE TestTable1(ID int);
INSERT INTO TestTable1 VALUES(0),(1),(2),(3);
SELECT * FROM TestTable1;

2. セカンダリエンドポイントに接続。以下のクエリを発行して読み取りができることを確認。

USE TestDB;
SELECT * FROM TestTable1;

3. 引き続き以下のクエリを発行して読み取り以外はできないことを確認。

INSERT INTO TestTable1 VALUES (5);

環境の停止

使わない場合は、これまで通り必要に応じて環境を停止してください。

まとめ

以前は SQL Server の高可用性を構成するために Windows クラスターを組んだり、いろいろ大変でしたが、今回は通常の構成と同じ手順で作成ができました。必要となるリソースだけ事前に計算してしっかり確保してから構築を行ってください。次回はクラスタの管理についてみていきます。

次の記事へ
 目次へ戻る

参照

Apache Zookeeper