メッセージングミドルウェアのIBM MQ(以下MQ)のOpenShift上で実現する高可用性構成のNative HAを構成したので､手順や構成について残す｡

MQの高可用性構成

MQではオンプレミス上での構成における高可用性構成として以下を構成可能である｡

HAクラスター構成
- 2ノード間のActive/Standby構成
- PowerHA(AIX)やMSCS(MicroSoft Clustering Service)(Windows)のようなHAマネージャーを使用したfailover構成
マルチインスタンス・キューマネージャー
- 2ノード間のActive/Standby構成
- HAクラスター構成のようなHAマネージャーを使用せずに､MQのfailover構成を実現する
HA RDQM構成
- 3ノードでのQuorum構成
  - pacemakerを利用して､相互の稼働監視を行う
- ノード間のデータの同期はDRBD(Distributed Replicated Block Device)を利用したレプリケーションを行う
  - 上記2つの高可用性構成は､MQを構成するキューファイルやトランザクションログはNFSなどの共用ディスク上に配置して構成する

OpenShiftにおいては､
MQをStatefulSetとして構成､PVをマウントして必要なデータを外だしにすることで､Podの再作成でもキューのメッセージの喪失を防ぎ､セルフヒーリングによって障害からの復旧も行える｡
(一応､2Pod構成でマルチインスタンス構成を組むことも可能であるが､1Podでセルフヒーリングによるリカバリとの時間差異はコンテナ再作成の時間程度となる(未検証))

今回検証したNative HAは､HA RDQMの様に3ノード(Pod)での高可用性を実現する構成となる｡
HA RDQMと異なるのは､データのレプリケーションやノード間の稼働監視にDRBDやpacemakerを使用せず､MQのネイティブでの実装となっている点である｡

環境

OpenShift 4.7.37_1542 @ IBM Cloud VPC Single AZ
MQ V9.2.3

Operatorの導入

Native HA構成はMQ Operatorでの導入のみサポートされるため､Operatorの導入が必要となる｡
Operatorの導入はマニュアルを参考に導入する｡

Native HAの構成

各設定はGUIで設定可能｡
(template.pod.containers.envなど､一部フィールドはGUIでは指定できないので､YAML viewで直接編集する)

以下は､GUIでの設定で生成されたyaml｡

apiVersion: mq.ibm.com/v1beta1
kind: QueueManager
metadata:
  name: mq-nativeha
  labels:
    app: mq-nativeha
  namespace: mq
spec:
  license:
    accept: true
    license: L-RJON-BZFQU2
  pki:
    keys:
      - name: tlskey
        secret:
          items:
            - tls.key
            - tls.crt
          secretName: example-tls-secret
    use: NonProduction
  web:
    enabled: false
  version: 9.2.3.0-r1
  template:
    pod:
      containers:
        - env:
            - name: MQSNOAUT
              value: 'yes'
          name: qmgr
  queueManager:
    resources:
      limits:
        cpu: 1000m
        memory: 2Gi
      requests:
        cpu: 500m
        memory: 1Gi
    name: QM.NHA
    ini:            # qm.iniに指定するスタンザ/パラメーターをConfigMapまたはSecretで渡す
      - configMap:
          items:
            - ssl.ini
          name: outbound-sni
    mqsc:          # 起動時実行するmqscコマンドをConfigMapまたはSecretで渡す
      - configMap:
          items:
            - security.mqsc
          name: disable-security
      - configMap:
          items:
            - config.mqsc
          name: config-mqsc
    availability:
      type: NativeHA    # NativeHAを選択する
      updateStrategy: RollingUpdate
    storage:
      defaultClass: ibmc-vpc-block-5iops-tier
      defaultDeleteClaim: true
      persistedData:
        class: ibmc-vpc-block-5iops-tier
        deleteClaim: true
        enabled: true
        size: 10Gi
      queueManager:
        deleteClaim: true
        size: 10Gi
        type: persistent-claim
      recoveryLogs:
        class: ibmc-vpc-block-5iops-tier
        deleteClaim: true
        enabled: true
        size: 10Gi
        type: persistent-claim

GUIの下部のCreateボタンでMQをデプロイする｡

デプロイ後の確認

MQ OperatorではQueueManagerのCRD(Custom Resource Definition)を定義しているので､ oc get QueueManagerで確認できる｡
また､QueueManagerはStatefulSetを管理している｡
StatefulSetで生成されたPodを見ると､0~2のsuffixが付いたPodが計3つ作成されていることが分かる｡

takzo% oc get QueueManager   
NAME          PHASE
mq-nativeha   Running
takzo% oc get StatefulSet
NAME                 READY   AGE
mq-nativeha-ibm-mq   1/3     21h
takzo% oc get pods       
NAME                   READY   STATUS    RESTARTS   AGE
mq-nativeha-ibm-mq-0   1/1     Running   0          13m
mq-nativeha-ibm-mq-1   0/1     Running   0          11m
mq-nativeha-ibm-mq-2   0/1     Running   0          12m
takzo%

ちなみに各podにはAntiAffinityが設定されており､他のノードのpodが稼働するworker node上でpodが立ち上がらないようにしている｡

  affinity:
    podAntiAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        - labelSelector:
            matchExpressions:
              - key: statefulSetName
                operator: In
                values:
                  - mq-nativeha-ibm-mq

そのほか､ノード間通信やOpenShiftクラスター外部との通信のためにServiceやRouteリソースが作成される｡

takzo% oc get service | grep mq-nativeha
# MQのチャネル接続を受けるService
mq-nativeha-ibm-mq             ClusterIP   172.21.181.198   <none>        1414/TCP            22h
# MQが吐くprometheus exporter用
mq-nativeha-ibm-mq-metrics     ClusterIP   172.21.235.146   <none>        9157/TCP            22h
# ノード間のデータのレプリケーションで使用するService
# この3つのServiceでは､statefulset.kubernetes.io/pod-nameをPod selectorで指定している
mq-nativeha-ibm-mq-replica-0   ClusterIP   172.21.193.19    <none>        9414/TCP            22h
mq-nativeha-ibm-mq-replica-1   ClusterIP   172.21.52.132    <none>        9414/TCP            22h
mq-nativeha-ibm-mq-replica-2   ClusterIP   172.21.198.212   <none>        9414/TCP            22h

Routeでは通常､Http(s)のエンドポイントを生成する｡ 接続元とMQコンテナのend-to-endでTLS接続するためにpassthrughでRouteリソースが作成される｡
takzo% oc get route | grep mq-nativeha
mq-nativeha-ibm-mq-qm   mq-nativeha-ibm-mq-qm-takzo.isemqgvpc-ocp-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx-0000.jp-tok.containers.appdomain.cloud          mq-nativeha-ibm-mq   1414            passthrough   None

Readiness ProbeとLiveness Probe

Podとしては､3ノード分が作成されるが､READYとなっているのは3つのうち1つだけである｡

生成されるMQのPodでは､キューマネージャー起動時に自動的にチャネル接続のためのリスナーが起動し､1414をListenする｡
Readiness Probeとしてこの1414ポートに対する応答の有無をチェックしている｡ Native HAでは3ノードの内､1時点で稼働するのは1ノードのみのため､スタンバイノードでは1414をListenしていないため､READYとはならない｡
Liveness ProbeはMQのユーティリティコマンドのdspmqコマンドの応答をチェックしており､キューマネージャーの稼働を示すRUNNINGまたは､Native HAのスタンバイノードで起動していることを示すREPLICAのいずれかが返ってくることを確認している｡
(実際には､マルチインスタンスQMGR構成のスタンバイノードであるRUNNING AS STANDBYや起動中を示すSTARTINGステータスも正常としている)

このあたりの挙動は､実際にプローブとして実行されるchkmqreadyやchkmqhealtyを見ると良い｡
ibm-messaging/mq-container/cmd/chkmqready/main.go
ibm-messaging/mq-container/cmd/chkmqhealty/main.go

プロセス

アクティブノードとスタンバイノードで稼働しているプロセスを見てみる｡(アクティブノードはmq-nativeha-ibm-mq-1に移動した)

アクティブノード

sh-4.4$ dspmq 
QMNAME(QM.NHA)                                            STATUS(Running)
sh-4.4$ ps -ef
UID         PID   PPID  C STIME TTY          TIME CMD
1000650+      1      0  0 00:30 ?        00:00:00 runmqserver -nologruntime
1000650+     79      1  0 00:30 ?        00:00:00 /opt/mqm/bin/amqzxma0 -m QM.NHA -x -u 1000650000
1000650+     90     79  0 00:30 ?        00:00:00 /opt/mqm/bin/amqzmgr0 -m QM.NHA
1000650+     93     79  0 00:30 ?        00:00:00 /opt/mqm/bin/amqzmuc0 -m QM.NHA -lr mq-nativeha-ibm-mq-1
1000650+    110     79  0 00:30 ?        00:00:00 /opt/mqm/bin/amqzmur0 -m QM.NHA -lr mq-nativeha-ibm-mq-1
1000650+    123     79  0 00:30 ?        00:00:00 /opt/mqm/bin/amqzmuf0 -m QM.NHA -lr mq-nativeha-ibm-mq-1
1000650+    127     79  0 00:30 ?        00:00:00 /opt/mqm/bin/amqrrmfa -m QM.NHA -t2332800 -s2592000 -p2592000 -g5184000 -c3600
1000650+    134     90  0 00:30 ?        00:00:00 /opt/mqm/bin/amqpcsea QM.NHA
1000650+    135     90  0 00:30 ?        00:00:00 /opt/mqm/bin/runmqchi -m QM.NHA -q SYSTEM.CHANNEL.INITQ -r
1000650+    137     79  0 00:30 ?        00:00:00 /opt/mqm/bin/amqzlaa0 -mQM.NHA -fip0
1000650+    165     90  0 00:30 ?        00:00:00 /opt/mqm/bin/runmqlsr -r -m QM.NHA -t TCP -p 1414
1000650+    179    123  0 00:30 ?        00:00:00 /opt/mqm/bin/amqfqpub -mQM.NHA
1000650+    187    179  0 00:30 ?        00:00:00 /opt/mqm/bin/amqfcxba -m QM.NHA
1000650+    231    165  0 00:31 ?        00:00:00 /opt/mqm/bin/amqrmppa -m QM.NHA
1000650+    670      0  0 00:32 pts/0    00:00:00 sh
1000650+    693    670  0 00:32 pts/0    00:00:00 ps -ef
sh-4.4$

スタンバイノード

sh-4.4$ dspmq
QMNAME(QM.NHA)                                            STATUS(Replica)
sh-4.4$ ps -ef
UID         PID   PPID  C STIME TTY          TIME CMD
1000650+      1      0  0 00:31 ?        00:00:00 runmqserver -nologruntime
1000650+     65      1  0 00:31 ?        00:00:00 /opt/mqm/bin/amqzxma0 -m QM.NHA -x -u 1000650000
1000650+     76     65  0 00:31 ?        00:00:00 /opt/mqm/bin/amqzmgr0 -m QM.NHA
1000650+     79     65  0 00:31 ?        00:00:00 /opt/mqm/bin/amqzmuc0 -m QM.NHA -lr mq-nativeha-ibm-mq-0
1000650+    111      0  0 00:31 pts/0    00:00:00 sh
1000650+    236      0  0 00:31 pts/1    00:00:00 sh
1000650+    549    236  0 00:32 pts/1    00:00:00 ps -ef
sh-4.4$

Native HA用途で新たに立ち上がるプロセスはなく､いずれも既存のプロセスが立ち上がる｡子プロセス(スレッド)でレプリケーション処理が行われていると思われる｡

qm.ini

sh-4.4$ cat /mnt/mqm-data/qmgrs/QM\!NHA/qm.ini 
# *******************************************************************#
# * WARNING: Automatic configuration has been enabled for this      *#
# * queue manager. Modifications in this file to anything other     *#
# * than valid AutoConfig keys will be lost at the next Queue       *#
# * Manager start.  To disable automatic ini configuration, remove  *#
# * the 'IniConfig' key from the AutoConfig stanza.                 *#
# *******************************************************************#
#
# *******************************************************************#
# * Module Name: qm.ini                                             *#
# * Type       : IBM MQ queue manager configuration file            *#
#  Function   : Define the configuration of a single queue manager *#
# *                                                                 *#
# *******************************************************************#
# * Notes      :                                                    *#
# * 1) This file defines the configuration of the queue manager     *#
# *                                                                 *#
# *******************************************************************#
ExitPath:
   ExitsDefaultPath=/mnt/mqm/data/exits
   ExitsDefaultPath64=/mnt/mqm/data/exits64
# *                                                                 *#
# *                                                                 *#
Log:
   LogPrimaryFiles=3
   LogSecondaryFiles=2
   LogFilePages=4096
   LogType=REPLICATED
   LogBufferPages=0
   LogPath=/mnt/mqm-log/log/QM!NHA/
   LogWriteIntegrity=TripleWrite
   LogManagement=Automatic
SSL:
   AllowTLSV13=Yes
   MinimumRSAKeySize=1
   OutboundSNI=HOSTNAME
Channels:
   ChlauthEarlyAdopt=Yes
   ChlauthIgnoreUserCase=No
TCP:
   SndBuffSize=0
   RcvBuffSize=0
   RcvSndBuffSize=0
   RcvRcvBuffSize=0
   ClntSndBuffSize=0
   ClntRcvBuffSize=0
   SvrSndBuffSize=0
   SvrRcvBuffSize=0
NativeHALocalInstance:
   Name=mq-nativeha-ibm-mq-0
AutoConfig:
   MQSCConfig=/etc/mqm/
   IniConfig=/etc/mqm/
Subpool:
   ShortSubpoolName=QM!NHA0000
NativeHAInstance:
   Name=mq-nativeha-ibm-mq-0
   ReplicationAddress=mq-nativeha-ibm-mq-replica-0(9414)
NativeHAInstance:
   Name=mq-nativeha-ibm-mq-1
   ReplicationAddress=mq-nativeha-ibm-mq-replica-1(9414)
NativeHAInstance:
   Name=mq-nativeha-ibm-mq-2
   ReplicationAddress=mq-nativeha-ibm-mq-replica-2(9414)

特筆するべきは､ LogスタンザのLogType=REPLICATEDとNativeHALocalInstanceスタンザ､NativeHAInstanceスタンザである｡
LogTypeは通常はリニアログのLINEAR､循環ログのCIRCULARのいずれかだが､Native HAの場合はREPLICATEDという特殊なログタイプとなる｡
また､NativeHALocalInstanceスタンザ､NativeHAInstanceスタンザについては､Native HAを構成するインスタンス情報を示すものであると思われる｡
このあたりは製品マニュアルのqm.iniの頁に記述がなく､他に設定項目があるのか不明だが､Advanced tuning for Native HAによると､以下の3つのパラメタがあることを確認できた｡

HeartbeatInterval
HeartbeatTimeout
RetryInterval

クライアントの自動再接続

MQクライアントでは､キューマネージャーとの接続が切れた際にMQのライブラリで透過的に再接続するオプションがある｡
ノード障害によってキューマネージャーが別ノードにfailoverした際､どの程度で再接続､処理を再開できるかを計測する｡

クライアントアプリケーションとして､メッセージをPUT､そのメッセージID指定でそのままメッセージをGETする処理を繰り返す簡単なクライアントアプリケーション(JMS)を実装､コンテナアプリケーションとしてデプロイしている｡(Pod: jmsclient-6f558495-55gr5)

クライアントアプリケーションの稼働中に､アクティブインスタンスのPodをoc delete podで削除する｡

時系列を整理すると以下の通りとなった｡検知から12秒程度で復旧することを確認した｡

時間	操作及び状況	補足
09:26:45	oc delete podでアクティブインスタンスを削除
09:26:48	クライアントアプリケーションで障害を検知	再接続のインターバルを1123, 2415, 4525, 8278, 16996, 25798(msec)として設定
09:26:48	再接続 #0	設定したインターバルに依存しない初回の再接続
09:26:50	再接続 #1 スケジュール	再接続インターバル(1123msec)
09:26:51	再接続 #1	スケジュールから1秒後
09:26:52	再接続 #2 スケジュール	再接続インターバル(2415msec)
09:26:54	再接続 #2	スケジュールから2秒後
09:26:55	再接続 #3 スケジュール	再接続インターバル(4525msec)
09:27:00	再接続 #3	スケジュールから約4秒後
09:27:00	再接続完了	JMSのため､コネクションが1つセッション2つ(PUT用とGET用)の計3つのコネクションが張られる

なお､再接続のインターバルはマニュアルの以下の記述に従って設定される｡

By default, the reconnection attempts happen at the following intervals:
- The first attempt is made after an initial delay of 1 second, plus a random element up to 250 milliseconds.
- The second attempt is made 2 seconds, plus a random interval of up to 500 milliseconds, after the first attempt fails.
- The third attempt is made 4 seconds, plus a random interval of up to 1 second, after the second attempt fails.
- The fourth attempt is made 8 seconds, plus a random interval of up to 2 seconds, after the third attempt fails.
- The fifth attempt is made 16 seconds, plus a random interval of up to 4 seconds, after the fourth attempt fails.
- The sixth attempt, and all subsequent attempts are made 25 seconds, plus a random interval of up to 6 seconds and 250 milliseconds after the previous attempt fails.

ログ

Podステータス

takzo% date;oc get pods             2021年 12月 8日 水曜日 09時26分27秒 JST
NAME                       READY   STATUS      RESTARTS   AGE
jmsclient-6f558495-55gr5   1/1     Running     1          5m7s
mq-nativeha-ibm-mq-0       0/1     Running     0          4d17h
mq-nativeha-ibm-mq-1       1/1     Running     0          4d17h
mq-nativeha-ibm-mq-2       0/1     Running     1          4d19h
takzo% date;oc delete pod/mq-nativeha-ibm-mq-1
2021年 12月 8日 水曜日 09時26分45秒 JST
pod "mq-nativeha-ibm-mq-1" deleted
takzo% date;oc get pods2021年 12月 8日 水曜日 09時27分45秒 JST
NAME                       READY   STATUS              RESTARTS   AGE
jmsclient-6f558495-55gr5   1/1     Running             1          6m25s
mq-nativeha-ibm-mq-0       1/1     Running             0          4d17h
mq-nativeha-ibm-mq-1       0/1     ContainerCreating   0          19s
mq-nativeha-ibm-mq-2       0/1     Running             1          4d19h
takzo%

アプリケーションログ

(omit)
-----------------------------------------------------
Sent message:
JMSTimestamp: 1638923204696
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c1981b40
Get the message back
Receiced message:
JMSTimestamp: 1638923204690                   # 2021/12/08 09:26:44
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c1981b40
-----------------------------------------------------
Sent message:
JMSTimestamp: 1638923205706
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c2981b40
Get the message back
Receiced message:
JMSTimestamp: 1638923205700                   # 2021/12/08 09:26:45 ← oc pod delete 実行
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c2981b40
-----------------------------------------------------
Sent message:
JMSTimestamp: 1638923206723
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c3981b40
Get the message back
Receiced message:
JMSTimestamp: 1638923206720
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c3981b40
-----------------------------------------------------
Sent message:
JMSTimestamp: 1638923207741
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c4981b40
Get the message back
Receiced message:
JMSTimestamp: 1638923207740
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c4981b40
-----------------------------------------------------
Sent message:
JMSTimestamp: 1638923208750
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c5981b40
Get the message back
Receiced message:
JMSTimestamp: 1638923208750                   # 2021/12/08 09:26:48
MessgeID: ID:414d5120514d2e4e4841202020202020abc2a961c5981b40
-----------------------------------------------------
# ここで障害を検知
Could not initialize log file, java.nio.file.AccessDeniedException: mqjms.log.0.lck
December 8, 2021 12:26:48 AM GMT[RcvThread: com.ibm.mq.jmqi.remote.impl.RemoteTCPConnection@1164677256[qmid=QM.NHA_2021-10-05_10.35.03,fap=14,channel=SYSTEM.DEF.SVRCONN,ccsid=1208,sharecnv=1,hbint=300,peer=mq-nativeha-ibm-mq/172.21.181.198(1414),localport=38831,ssl=no]] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Reconnection times (milliseconds) : '[1123, 2415, 4525, 8278, 16996, 25798]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:26:48 AM GMT[RcvThread: com.ibm.mq.jmqi.remote.impl.RemoteTCPConnection@1164677256[qmid=QM.NHA_2021-10-05_10.35.03,fap=14,channel=SYSTEM.DEF.SVRCONN,ccsid=1208,sharecnv=1,hbint=300,peer=mq-nativeha-ibm-mq/172.21.181.198(1414),localport=38831,ssl=no]] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Queueing reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]' to queue manager 'null'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:26:48 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Starting reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]' to queue manager 'null'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:26:50 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Rescheduling reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:26:51 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Starting reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]' to queue manager 'null'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:26:52 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Rescheduling reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:26:54 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Starting reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]' to queue manager 'null'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:26:55 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Rescheduling reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:27:00 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Starting reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]' to queue manager 'null'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:27:00 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.api.RemoteParentHconn
Starting reconnection of child hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/d10ff268][connectionId=414D5143514D2E4E4841202020202020ABC2A9618B981B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:27:00 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.api.RemoteParentHconn
Completed reconnection of child hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/d10ff268][connectionId=414D5143514D2E4E4841202020202020ABC2A9618B981B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:27:00 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.api.RemoteParentHconn
Starting reconnection of child hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/b8be865f][connectionId=414D5143514D2E4E4841202020202020ABC2A96107961B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:27:00 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.api.RemoteParentHconn
Completed reconnection of child hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/b8be865f][connectionId=414D5143514D2E4E4841202020202020ABC2A96107961B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
December 8, 2021 12:27:00 AM GMT[JMSCCThreadPoolWorker-4] com.ibm.mq.jmqi.remote.impl.RemoteReconnectThread
Completed reconnection of parent hconn 'com.ibm.mq.jmqi.remote.impl.RemoteSession[:/107ec9e5][connectionId=414D5143514D2E4E4841202020202020ABC2A9611F9D1B40]'

EXPLANATION:
null

ACTION:
null
--------------------------------------------------------------------
Sent message:
JMSTimestamp: 1638923209766
MessgeID: ID:414d5120514d2e4e4841202020202020c9fbaf61022a0040
Get the message back
Receiced message:
JMSTimestamp: 1638923220510        # 2021/12/08 09:27:00
MessgeID: ID:414d5120514d2e4e4841202020202020c9fbaf61022a0040
-----------------------------------------------------
Sent message:
JMSTimestamp: 1638923221523
MessgeID: ID:414d5120514d2e4e4841202020202020c9fbaf61032a0040
Get the message back
Receiced message:
JMSTimestamp: 1638923221520
MessgeID: ID:414d5120514d2e4e4841202020202020c9fbaf61032a0040
-----------------------------------------------------
(omit)

本エントリでは､Native HAを構成し､簡単な調査及び検証を行った｡
レプリケーションの詳細については内部実装となっており､マニュアルにも記載がないため､所謂Split brainの状態が発生した際のリカバリ方法や､実運用の観点で見ていく必要がある部分は多いため､今後も継続して調査していきたい｡