LoginSignup
0
1

More than 3 years have passed since last update.

@vxse_japan

NetBackup CloudCatalyst for AWS入門 その3

Last updated at Posted at 2020-01-21

NetBackup 8.1からの新機能であるCloudCatalystについて、3回に分けて解説を行います。
今回は3回目となり、オンプレ環境が全損し、Amazon S3にのみバックアップデータが残っている状態での復旧手順をお伝えします。

障害復旧ということで長めの手順となりますが、最後までお付き合い下さい！

★2020/3/9に一部内容の加筆・修正を行いました。

想定する災害シナリオについて

  • 「NetBackup CloudCatalyst for AWS入門 その2」で構築したCloudCatalystのオンプレ環境が全損
  • バックアップデータはAmazon S3にのみ残っている状態 その3_災害シナリオ_構成図.png

今回の環境では、事前に以下のバックアップデータをAmazon S3に保管しています。
バックアップを2回取得しており、この2つのバックアップデータを復旧するための手順を説明します。
その3_災害シナリオ_管理コンソール.png

復旧に当たっての前提条件

  • 最新のMSDPカタログが残っていること
    • Amazon S3からの復旧条件として、CloudCatalyst側の最新MSDPカタログが必須となります。
    • そのため、通常運用時は、全てのバックアップ完了後に、MSDPカタログをバックアップする運用にして下さい。
    • MSDPカタログは同一サーバー内ではなく、CloudCatalystとは別のバケットなどに保存するようにして下さい。
  • 新たにOSを入れ直すなどした場合、サーバーのホスト名は以前と同じ名前に設定しておくこと

参考すべき資料

CloudCatalystの災害復旧手順書として以下が提供されています。
全損からの復旧については、この手順書にある「Recovering the master server (partial) and the MSDP cloud storage server when NetBackup CloudCatalyst is enabled」を参考にしながら進めます。

　■ Disaster Recovery for CloudCatalyst
　　https://www.veritas.com/support/en_US/article.100039183.html

しかし、NetBackup 8.2環境では上記手順通りに進めても、エラーとなる箇所があるため、別途、Technoteが公開されています。

　■ Disaster Recovery for CloudCatalyst in NetBackup 8.2
　　https://www.veritas.com/support/en_US/article.100046914

今回の検証環境は、NetBackup 8.2を利用していますので、こちらのTechnoteを参考に復旧手順をご紹介致します。

復旧手順

以下の順番でCloudCatalystの復旧を行います。
　①マスターサーバーの復旧
　②MSDPサーバーの復旧
　③CloudCatalystサーバーの復旧
　④esfs_init.shファイルの編集
　⑤MSDPカタログのインポート
　⑥CloudCatalystストレージサーバーの構成
　⑦環境変数の設定
　⑧MSDPカタログのバックアップポリシー作成
　⑨MSDPカタログのリカバリ準備
　⑩CloudCatalystサーバーファイルとFSDB Databaseの復旧
　⑪キャッシュディレクトリ以外のファイルとディレクトリを復元
　⑫spadの起動
　⑬カタログシャドウファイルからMSDPカタログを回復
　⑭spooldの起動
　⑮Amazon S3のバックアップデータをインポート
　⑯リカバリ中に作成された一時ファイルを削除
　⑰「Backup, Archive, and Restore」を使って対象サーバーにデータをリストア
　考慮事項（2020/3/9 追記）

①マスターサーバーの復旧

まず、マスターサーバー：「nbumaster」の復旧を行います。
マニュアルに従って、NetBackup 8.2のインストールを実施して下さい。
その3_サーバー復旧_マスターサーバー.png

②MSDPサーバーの復旧

次に、MSDPサーバー：「nbumedia1」の復旧を行います。
マニュアルに従って、NetBackup 8.2のインストールを実施して下さい。
その3_サーバー復旧_MSDPサーバー.png

インストール後、マスターサーバーの「Host Properties - Additional Servers」に[nbumedia1]を追加します。
その3_サーバー復旧_MSDPサーバー_追加設定1.png

また、「Storage Server Configuration Wizard」を使って、MSDP領域を作成しておきます。
その3_サーバー復旧_MSDPサーバー_追加設定2.png

③CloudCatalystサーバーの復旧

続けて、CloudCatalystサーバー：「nbumedia2」の復旧を行います。
マニュアルに従って、NetBackup 8.2のインストールを実施して下さい。
その3_サーバー復旧_CloudCatalystサーバー.png

インストール後、マスターサーバーの「Host Properties - Additional Servers」に[nbumedia2]を追加します。
その3_サーバー復旧_CloudCatalystサーバー_追加設定.png

④esfs_init.shファイルの編集

CloudCatalystサーバー：「nbumedia2」の「esfs_init.sh」ファイルに「readonly」オプションを付与します。
以下に編集例を記載します。（NetBackup 8.2の場合、197行目が該当行になります）

【実行例】
[root@nbumedia2 /]# cd /usr/openv/esfs/scripts
[root@nbumedia2 scripts]# cp -p esfs_init.sh esfs_init.sh.org
[root@nbumedia2 scripts]# ls -l esfs_init.sh*
-rwxr-xr-x 1 root bin 8260 Jun  4  2019 esfs_init.sh
-rwxr-xr-x 1 root bin 8260 Jun  4  2019 esfs_init.sh.org
[root@nbumedia2 scripts]# vi esfs_init.sh
【編集前】
MKESFS_OUTPUT=$( ${MKESFS} -o cache_dir="${CACHEDIR_AS_FUSEOPT}",storage_server=${CLDSRV},
【編集後】
MKESFS_OUTPUT=$( ${MKESFS} -o readonly,cache_dir="${CACHEDIR_AS_FUSEOPT}",storage_server=${CLDSRV},

⑤MSDPカタログのインポート

NetBackup管理コンソールのカタログユーティリティを使って、MSDPカタログをインポートします。
nbumedia2で取得した最新のMSDPカタログを指定して、インポートを実施して下さい。

＜Initiate Import＞
その3_カタログインポート_InitiateImport.png

＜Import＞
その3_カタログインポート_Import.png

⑥CloudCatalystストレージサーバーの構成

「Cloud Storage Server Configuration Wizard」を使って、nbumedia2でCloudCatalystストレージサーバーを構成します。

＜CloudCatalystストレージサーバー作成画面＞
その3_CC作成.jpg

＜Amazon S3バケット選択画面＞
その2_05_CC.jpg

⑦環境変数の設定

CloudCatalystサーバー：「nbumedia2」で環境変数の設定を行います。
　# export CSSC_USERNAME={CLOUD_USERNAME}
　# export CSSC_PASSWORD={CLOUD_PASSWORD}
　　※CLOUD_USERNAMEは「AWSアクセスキー」、CLOUD_PASSWORDは「AWSシークレットキー」になります。

【実行例】
[root@nbumedia2 /]# export CSSC_USERNAME=AK*************************************
[root@nbumedia2 /]# export CSSC_PASSWORD=***************************************

⑧MSDPカタログのバックアップポリシー作成

CloudCatalystサーバー：「nbumedia2」で以下のコマンドを実行し、MSDPカタログのバックアップポリシーを作成します。
ポリシー名は構築時と同じ名前を指定して下さい。

【実行例】
[root@nbumedia2 /]# /usr/openv/pdde/pdcr/bin/drcontrol --new_policy --policy MSDPCatalog-Catalyst
no entity was found (227)
The policy MSDPCatalog-Catalyst for host nbumedia2 has been successfully created.
The log file may be found at: /var/log/puredisk/drcontrol/policy_admin/new_policy_1578551985.log

NetBackup管理コンソールに、MSDPカタログのバックアップポリシーが作成されていることを確認します。
Deactivateの状態で作成されますが、その状態で問題ありません。
その3_カタログ作成.jpg

⑨MSDPカタログのリカバリ準備

CloudCatalystサーバー：「nbumedia2」で以下のコマンドを実行し、MSDPカタログのリカバリ準備を行います。
途中の選択肢は「y」を入力して進めて下さい。

【実行例】
[root@nbumedia2 /]# /usr/openv/pdde/pdcr/bin/drcontrol --initialize_DR --policy MSDPCatalog-Catalyst

You have requested to initialize

        NetBackup Deduplication Catalog Disaster Recovery

    This operation will recover the dedupe catalog to the point in time
    of the chosen dedupe catalog backup.  All backup images on this
    deduplication storage server that were not successfully completed by the
    time of the chosen backup will be completely lost.

Do you want to proceed? [y/n] (n) y

Your NetBackup Deduplication Storage Server and Storage Unit will be offline
during this process.  Existing and new jobs that reference this storage server
will end with an error like '(2074) Disk volume is down' or '(2106) Disk
storage server is down'.

You must ensure that no one will restart spoold on this system except for
Online Check and CRQP (as part of the recovery process).  Also, the status of
spoold must be set as PUT=No and GET=No ASAP after starting spoold.

Once you start this process, you must complete it before you can use this
server.  You will be unable to return the system to its current state.
Upon successful completion of the NetBackup Deduplication Catalog Recovery
process, the system will only be able to access those images that were
completed by the time of the selected NetBackup Deduplication Catalog backup
and that have not been expired from the NetBackup catalog.

Do you want to proceed? [y/n] (n) y
Terminating nbsvcmon.
Stopping the deduplication service spad.
Waiting 5 seconds for spad to stop
Stopping the deduplication service spoold.
Waiting 5 seconds for spoold to stop
The log file may be found at: /var/log/puredisk/drcontrol/dedupe_catalog_DR/init_recovery_1578552433.log

⑩CloudCatalystサーバーファイルとFSDB Databaseの復旧

CloudCatalystサーバー：「nbumedia2」で以下のコマンドを実行し、CloudCatalystサーバーファイルとFSDB Databaseの復旧を行います。
途中の選択肢は「y」を入力して進めて下さい。

【実行例】
[root@nbumedia2 /]# /usr/openv/pdde/pdcr/bin/drcontrol --recover_last_cloud_catalyst_image --policy MSDPCatalog-Catalyst

WARNING! this operation will use bprestore to restore the following paths
"/CloudCatalyst/cache/etc"
"/CloudCatalyst/cache/fsdb"
"/CloudCatalyst/cache/userdata/proc/cloud.lsu"
for the policy name [MSDPCatalog-Catalyst]
and client name [nbumedia2].

The NetBackup Deduplication and NetBackup CloudCatalyst services will be shutdown.

Do you want to proceed? [y/n] (n) y

Stopping the NetBackup CloudCatalyst service.


Restoring the last backup image for policy MSDPCatalog-Catalyst and client nbumedia2.
Starting the NetBackup CloudCatalyst service.
mount point /CloudCatalyst/storage
Start new vxesfsd instance, pid 8598 for mount point /CloudCatalyst/storage
The log file may be found at: /var/log/puredisk/drcontrol/dedupe_catalog_DR/recover_last_cloud_catalyst_image_1578552579.log

⑪キャッシュディレクトリ以外のファイルとディレクトリを復元

NetBackup管理コンソールの「Backup, Archive, and Restore」を使って、キャッシュディレクトリ以外のファイルとディレクトリを復元します。

＜Specify NetBackup Machines and Policy Type ウィンドウ＞
その3_BAR01.jpg

＜リストアの指定＞
[/CloudCatalyst/storage]および[/usr]が対象で、この領域を上書きリストアして下さい。
[/CloudCatalyst/cache]は対象外ですので、注意して下さい。
その3_BAR02.png

⑫spadの起動

CloudCatalystサーバー：「nbumedia2」で以下のコマンドを実行し、spadを起動します。

【実行例】
[root@nbumedia2 /]# /usr/openv/pdde/pdconfigure/pdde spad start
Starting spad
Warning: manually modifying PureDisk services can cause unexpected behavior!
Warning: press CTRL+C to abort.
Checking for PDDE Mini SPA
spad is stopped
spad (pid  9440) is running...                             [  OK  ]

⑬カタログシャドウファイルからMSDPカタログを回復

CloudCatalystサーバー：「nbumedia2」で以下のコマンドを実行し、カタログシャドウファイルからMSDPカタログを回復します。

【実行例】
[root@nbumedia2 /]# /usr/openv/pdde/pdcr/bin/cacontrol --catalog disaster_recovery

Successfully recovered as much as possible of the catalog.
Please see the logs in <Storage>/log/spad/<MediaServerName>/cacontrol/spad/<date>.log for details.

⑭spooldの起動

CloudCatalystサーバー：「nbumedia2」で以下のコマンドを実行し、spooldを起動します。

【実行例】
[root@nbumedia2 /]# /usr/openv/pdde/pdconfigure/pdde spoold start
Starting spoold
Warning: manually modifying PureDisk services can cause unexpected behavior!
Warning: press CTRL+C to abort.
Checking for PureDisk ContentRouter
spoold is stopped
spoold (pid  9685) is running... spoold                    [  OK  ]

⑮Amazon S3のバックアップデータをインポート

あと、もう一息です！
NetBackup管理コンソールのカタログユーティリティを使って、Amazon S3のバックアップデータをインポートします。

＜Initiate Import＞
もし、Amazon S3のディスクプールが表示されない場合は、Refreshボタンで更新して下さい。
その3_カタログインポート_S3_01.png

＜Import＞
事前に取得した2つのバックアップデータが出力されていることが確認出来ます！
その3_カタログインポート_S3_02.png

この状態でインポートを実施すると、Amazon S3に保管されているバックアップデータが、CloudCatalystサーバー：「nbumedia2」にダウンロードされます。
その3_カタログインポート_S3_03.png

⑯リカバリ中に作成された一時ファイルを削除

CloudCatalystサーバー：「nbumedia2」で以下のコマンドを実行し、リカバリ中に作成された一時ファイルを削除します。
途中の選択肢は「y」を入力して進めて下さい。

【実行例】
[root@nbumedia2 /]# /usr/openv/pdde/pdcr/bin/drcontrol --cleanup
Following file/folders will be deleted:
/CloudCatalyst/cache/#corrupt_Cat_DR_save_1578552579_fsdb
/CloudCatalyst/cache/#corrupt_Cat_DR_save_1578552579_userdata
Do you want to proceed? [y/n] (n) y
 Cleanup of DR paths is completed
The log file may be found at: /var/log/puredisk/drcontrol/dedupe_catalog_DR/cleanup_1578555880.log

⑰「Backup, Archive, and Restore」を使って対象サーバーにデータをリストア

以上の作業が終了すれば、CloudCatalystサーバー：「nbumedia2」にバックアップデータが復元されていますので、対象サーバーにデータのリストアが可能です！
その3_BAR03.jpg

考慮事項（2020/3/9 追記）

今回のQiitaでご説明した環境において、CloudCatalystサーバーからMSDPサーバーへ複製（逆複製）する場合は、以下のような設定変更が必要になります。

　■ストレージサーバー
　　MSDPストレージサーバー側：nbumedia2
　　CloudCatalystストレージサーバー側：nbumedia2

　■ストレージユニット
　　MSDPストレージサーバー側： nbumedia2
　　CloudCatalystストレージサーバー側：nbumedia2

共通のメディアサーバー設定について、手順書に詳細を記載しております。
「項番2-7. 共通のメディアサーバー設定」のP.49～54も併せて参照するようにして下さい。

　NetBackup 8.2 CloudCatalyst構築および復旧ガイド（Amazon S3利用）

おわりに

いかがでしたでしょうか？
全損からの障害復旧ということで少々手順が複雑ですが、オンプレ環境が全損した場合でもキチンと復旧出来ることがお分かり頂けたかと思います。

3回に分けてお伝えして来ました「NetBackup CloudCatalyst for AWS入門」ですが、今回で最後となります。
後日、CloudCatalyst構築および復旧手順書を公開致しますが、こちらにつきましては今暫くお待ち下さい。

また、今までの内容で不明点などがございましたら、遠慮なくお問い合わせ下さい。

商談のご相談はこちら

本稿からのお問合せをご記入の際には「コメント/通信欄」に#GWCのタグを必ずご記入ください。
ご記入いただきました内容はベリタスのプライバシーポリシーに従って管理されます。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
1