#概要
この記事はNetAppストレージ(FAS/AFFシリーズ)上のデータを確実に消去する手順について記載します。
DISK消去(disk sanitize)を行う前の事前準備から消去手順、そして第三者機関による消去証明書を取得するために必要となるであろうログも紹介します。(必要なログは変わる可能性があるので、正しくは消去証明書を発行する機関にお問い合わせください。)
消去証明書の取得：
https://www.onebe.co.jp/product/deletecert/index.html
Storage LCM for NetAppの説明：
https://www.onebe.co.jp/product/storagelcm/index.html
#目次
- はじめに
- NetAppストレージのディスクサニタイズ機能
- 前提事項
- 消去手順
結論だけ知りたい方は、「3. 前提事項」以降をご覧ください。
#1. はじめに
みなさんはパソコンやサーバを廃棄する際に、ディスク上のデータをきちんと消去しているでしょうか。ファイルを削除したりディスクをフォーマットするだけでは不十分で、ゼロデータやランダムなデータをHDDやSSDの全領域にわたって書き込まないと、データは復元されてしまいます。
このためのツールとしてMicrosoft社から配布されているSDeleteは有名です。
https://docs.microsoft.com/en-us/sysinternals/downloads/sdelete
パソコンやサーバを捨てる際、まずマイドキュメントやマイピクチャなどを含むすべてのユーザデータをエクスプローラーで削除します。Outlookの添付ファイルが一時的に保存されるテンポラリディレクトリなども消し忘れないように注意してください。そしてディスクに空き容量を作った上でこのツールを実行すると、空き領域上に存在する見かけ上は削除されたデータに対してデータを上書きし、復元できない状態にしてくれます。この方法は米国国防総省の標準DOD 5220.22-Mで規定された「clear」と「sanitize」に準拠した消去方法となります。
ほとんどのユーザの場合、この消去方法で実質的に問題ありません。しかし完全消去かというと、ファイル名だけ(データは消去されている)がDISKに残ってしまったり、c:\windows\system32などの下に書き込まれたユーザデータをエクスプローラーで削除し忘れたがためにSDeleteで消去ができなかったり、ということが発生し得ます。
また、何らかの論理的な障害でWindowsが起動しない場合、Windowsを再インストールしてSDeleteをかけるか、パソコンからHDDを取り出して別のパソコンに接続して消去するなど、多少煩雑です。
そこで近年ではデータ消去サービスが存在し、OSが起動するかどうかに関係なく機器の廃棄と同時にHDD/SSDのデータを消去してくれる業者があります。しかしここで問題になるのは、この業者に勤務する個人がデータを漏洩させるパターンです。神奈川県庁の例でも廃棄業者によるHDDの転売によりデータが漏洩してしまいました。そのため、サーバやPCの使用者は廃棄業者に引き渡す前にデータを消去することが重要になっています。
このようにWindowsマシンはSDeleteがあり、LinuxであればOS標準のddコマンドで無意味なランダムデータをディスクの空き領域に書き込むことができます。しかし外部ストレージはどのように対応すればよいのでしょうか。サーバやPCからNFS/CIFSでマウントしてSDeleteやddコマンドで消去することはできますが、ストレージ側が独自に保持するスナップショット情報まではユーザ側からは削除することができません。そのためストレージ側で一括消去ができると便利です。
#2. NetAppストレージのディスクサニタイズ機能
NetAppのONTAP OSが動作するストレージにはdisk sanitizeという機能が実装されています。SDeleteと似たようなことができますが、サーバやパソコンが無くてもストレージ単体でデータを消去することができます。また、SDeleteでは削除できないファイルシステムの管理情報やディスクのパーティション情報の消去にも対応しています。
このdisk sanitize機能について、以降で記述します。
#3. 前提条件
##3.1. ONTAPのバージョンとストレージ機種
今回はONTAP9.8用に手順を作成していますが、おそらくONTAP9.2以降であればこの手順は使えると思われますのでお試しください。また、ONTAP9.8が動作する機種は以下となります。以下の機種でONTAP9.1以前を使われている場合は多少手順が異なるため、ONTAP9.8までアップデートをしてこの手順を試すか、あるいはそれが手間な場合はONTAP9.1でもこの手順と大きな流れは同じなので、トライしてみてください。(最初のBootメニュー構成が異なります。)
- FAS2500シリーズ
- FAS2600シリーズ
- FAS2700シリーズ
- FAS80X0シリーズ
- FAS8200/8300/8700シリーズ
- A200/A220/A250シリーズ
- AFF80X0シリーズ
- A300/A320/A400/A700/A700s/A800シリーズ
- C190
##3.2. ADP構成かそうでないか
以前はONTAP OSはDISKを3本占有してそこにOSをインストールしていましたが、DISKが無駄になるので最近はADP/ADP2というパーティショニング機能を使う構成が増えています。ここで説明する手順はADP構成かどうかにかかわらずにご利用いただけます。
##3.3. メンテナンスモードは不使用
ONTAPのBootメニューを見たことがある人は、メンテナンスモードというのをご存知かと思います。そのメニューからDISKを消去することもできるのですが、消去にかかる時間が数倍長くなってしまうので、あえて使っていません。
##3.4. DISKの本数についての注意
ストレージに搭載しているDISK本数が12本未満の場合、少しテクニックが必要になるので、この手順通りに削除することができません。（手順が以下の流れになっているため。）
(1) 先頭のDISK 6本(3本をコントローラA、もう3本をコントローラB)にOSを入れなおす
(2) クラスタセットアップ
(3) 先頭のDISK 6本以外のDISKを消去
(4) 消去したDISKにONTAP OSを移動
(5) 先頭のDISK 6本を消去
#4. 消去手順
以下の環境で操作することを前提として手順を記載しています。
■機種: FAS8040(ONTAP9.8)
sr-8040_SP1 192.168.70.93
sr-8040_SP2 192.168.70.94
※ 管理用Storage ProcessorのIP。ONTAPが動作しない状況でも管理アクセスを提供。
※ DISKが48本接続されています。
■テンポラリクラスタセットアップ情報
node-a node management e0M 192.168.70.10/255.255.255.0
node-b node management e0M 192.168.70.11/255.255.255.0
Gateway 192.168.70.254
cluster management e0M 192.168.70.20
全体の流れを以下に記載します。実際のDISK消去時間は、そのDISKのタイプ(SAS, NL-SAS, SATA, SSD)とその容量によって異なりますが、以下はSAS 600GB玉x24本に対して実行したときのトータル時間を記載しています。
4.1. ADPの解除(unpartition)と非ADP構成でONTAP再インストール (約40分)
4.1.1. ローダーへの移行
4.1.2. ADP解除前の環境変数設定
4.1.3. ADP解除
4.1.4. ONTAPの再インストール(非ADP構成)
4.2. クラスタセットアップ (約20分)
4.2.1. A側でクラスタセットアップ
4.2.2. A側で作成したクラスタにコントローラBをJoin (B側で操作)
4.3. 非ADP構成のディスク利用状況の確認 (約10分)
4.3.1. クラスタシェル編 - プロンプトが「adec::>」
4.3.2. ノードシェル編 - プロンプトが「adec-01>」
4.4. ディスクのサニタイズ (5-6時間, 4.2.で2時間、4.5.～4.6.で1.2時間、4.8で2時間)
4.4.1. サニタイズするためのDISKのオーナー設定とホットスペア化
4.4.2. コントローラAでスペアディスクのSanitize実行(DISK #06-#23)
4.4.3. サニタイズしたログの収集(1) (クラスタシェル)
4.4.4. DISK #00-#05のかわりとなるrootディスクの準備(#18-#23)
4.4.5. コントローラAのroot領域の移動
4.4.6. コントローラBのroot領域の移動
4.4.7. root領域の移動結果確認
4.4.8. コントローラAでDISK #00-#05のSanitize実行
4.4.9. サニタイズしたログの収集(2) (クラスタシェル)
##4.1. ADPの解除(unpartition)と非ADP構成でONTAP再インストール (約30分)
- SSHクライアントで以下の2つのSPにそれぞれログイン
sr-8040_SP1 192.168.70.93 (コントローラA)
sr-8040_SP2 192.168.70.94 (コントローラB)
##4.1.1. ローダーへの移行
コントローラAの操作
SP SR-8040-01-01> system power cycle -f
This will cause a dirty shutdown of your appliance. Continue? [y/n] y
SP SR-8040-01-01>
power cycle実行直後に以下実行
SP SR-8040-01-01> system console
以下の文字列が表示されたら、CTRL+Cを数回連打
「Starting AUTOBOOT press Ctrl-C to abort...」
「LOADER-A」プロンプトが表示されるまで数分待つ
LOADER-A>
コントローラBの操作
SP SR-8040-01-02> system power cycle -f
This will cause a dirty shutdown of your appliance. Continue? [y/n] y
SP SR-8040-01-02>
power cycle実行直後に以下実行
SP SR-8040-01-02> system console
以下の文字列が表示されたら、CTRL+Cを数回連打
「Starting AUTOBOOT press Ctrl-C to abort...」
「LOADER-B」プロンプトが表示されるまで数分待つ
LOADER-B>
##4.1.2. ADP解除前の環境変数設定
LOADER-A> set-defaults
LOADER-A> saveenv
LOADER-A> printenv
LOADER-A>
LOADER-A> setenv root-uses-shared-disks? false
LOADER-A> setenv root-uses-shared-ssds? false
LOADER-A> saveenv
LOADER-A> printenv
LOADER-B> set-defaults
LOADER-B> saveenv
LOADER-B> printenv
LOADER-B>
LOADER-B> setenv root-uses-shared-disks? false
LOADER-B> setenv root-uses-shared-ssds? false
LOADER-B> saveenv
LOADER-B> printenv
##4.1.3. ADP解除
LOADER-Aから実施
LOADER-A> boot_ontap menu
以下のメニューが出るまで5分程度待つ
Please choose one of the following:
(1) Normal Boot.
(2) Boot without /etc/rc.
(3) Change password.
(4) Clean configuration and initialize all disks.
(5) Maintenance mode boot.
(6) Update flash from backup config.
(7) Install new software first.
(8) Reboot node.
(9) Configure Advanced Drive Partitioning.
(10) Set Onboard Key Manager recovery secrets.
(11) Configure node for external key management.
Selection (1-11)? 9
(9)のサブメニュー(9a)-(9e)が出るまで数分待つ
*************************************************
* Advanced Drive Partitioning Boot Menu Options *
*************************************************
(9a) Unpartition all disks and remove their ownership information.
(9b) Clean configuration and initialize node with partitioned disks.
(9c) Clean configuration and initialize node with whole disks.
(9d) Reboot the node.
(9e) Return to main boot menu.
Selection (9a-9e)?: 9a
9aでADP構成が解除される
※1 もし(9a)を実行して以下の画面表示で進まなくなった場合は、コントローラBから(9a)の操作を実施し、完了後にA側を行う。
Waiting for reservations to clear
Waiting for reservations to clear
Waiting for reservations to clear
Waiting for reservations to clear
※2 Bから操作を実施すると、Bの操作中にA側がリブートして、その後繰り返しリブートするので、以下の文字列が出たタイミングでCTRL+Cを押下し、boot menuの(1)-(9)を選択する画面を表示してB側の(9a)が終わるまで待つ。
*******************************
* *
* Press Ctrl-C for Boot Menu. *
* *
*******************************
以下のログが出力されることを確認
Unpartitioning disks...
No disk found to be eligible for unpartitioning.
Removing disk ownership...
Disk ownership successfully removed.
LOADER-Bから実施(Aと同じことを実施)
LOADER-B> boot_ontap menu
以下の順に実行。
(9) Configure Advanced Drive Partitioning.
(9a) Unpartition all disks and remove their ownership information.
##4.1.4. ONTAPの再インストール(非ADP構成)
A側の前の手順の続きでLOADER-Aから実施
「(9c) Clean configuration and initialize node with whole disks.」を選択
リブートが走り、初期化が行われる。
以下のメッセージが表示されるまで5-10分待つ。(この間、B側の操作をしてはいけない)
「Type yes to confirm and continue {yes}:」
※ 待つだけで、yesと入力してはいけない
B側の前の手順の続きでLOADER-Bから実施
「(9c) Clean configuration and initialize node with whole disks.」を選択
リブートが走り、初期化が行われる。
以下のメッセージが表示されるまで5-10分待つ。(この間、A側の操作をしてはいけない)
「Type yes to confirm and continue {yes}:」
※ 待つだけで、yesと入力してはいけない
##4.2. クラスタセットアップ (約20分)
##4.2.1. A側でクラスタセットアップ
Type yes to confirm and continue {yes}:yes
Enter the node management interface port [e0M]: e0M
Enter the node management interface IP address: 192.168.70.11
Enter the node management interface netmask: 255.255.255.0
Enter the node management interface default gateway: 192.168.70.254
A node management interface on port e0M with IP address 192.168.70.11 has been created.
以下が表示されたらEnter
Otherwise, press Enter to complete cluster setup using the command line
interface:
クラスタの新規作成なので、以下はcreateを入力
Do you want to create a new cluster or join an existing cluster? {create, join}:
create
シングルノードクラスタではないので、以下はnoを入力
Do you intend for this node to be used as a single node cluster? {yes, no} [no]:
no
機器から提示されるクラスタ間通信のIPアドレスをそのまま使うかどうか聞かれるので、yes
Do you want to use this configuration? {yes, no} [yes]: yes
adminユーザのパスワードを2回入力
Enter the cluster administrator's (username "admin") password:
Retype the password:
作成するクラスタ名(任意の文字列)を入力
Enter the cluster name: adec
以下のライセンスキー入力は、空欄のままEnter
Enter an additional license key []:
クラスタセットアップに必要なNICやIP情報を入力(この情報はこのあと使わないので、文字が通ればなんでもよい。)
Enter the cluster management interface port [e0i]: e0M
Enter the cluster management interface IP address: 192.168.70.20
Enter the cluster management interface netmask: 255.255.255.0
Enter the cluster management interface default gateway [192.168.70.254]:
以下、2項目は空欄のままEnter
Enter the DNS domain names:
Where is the controller located []:
以下の文字列が表示されたら、コントローラA側のセットアップは完了。
Cluster "adec" has been created.
##4.2.2. A側で作成したクラスタにコントローラBをJoin (B側で操作)
Type yes to confirm and continue {yes}:yes
Enter the node management interface port [e0M]: e0M
Enter the node management interface IP address: 192.168.70.12
Enter the node management interface netmask: 255.255.255.0
Enter the node management interface default gateway: 192.168.70.254
A node management interface on port e0M with IP address 192.168.70.12 has been created.
以下、空欄のままEnter
Otherwise, press Enter to complete cluster setup using the command line
interface:
A側で作成したクラスタに参加するため、以下はjoinを入力
Do you want to create a new cluster or join an existing cluster? {join}:
join
機器から提示されるクラスタ間通信のIPアドレスをそのまま使うかどうか聞かれるので、yes
Do you want to use this configuration? {yes, no} [yes]: yes
以下で、A側のクラスターのIPを入力を求められるので、A側の操作ログからコピペする。
Enter the IP address of an interface on the private cluster network from the
cluster you want to join:
※コピー元の情報はA側の操作ログの以下のIPのいずれかを入力
Existing cluster interface configuration found:
Port MTU IP Netmask
e0a 9000 169.254.xxx.xxx 255.255.0.0
e0b 9000 169.254.xx.xx 255.255.0.0
e0c 9000 169.254.xxx.xxx 255.255.0.0
e0d 9000 169.254.xxx.xx 255.255.0.0
しばらく経過後、以下のメッセージが出力されることを確認。
This node has been joined to cluster "adec".
このあと、プロンプトが表示されるのでadminユーザでログイン確認
SP-login: admin
Password:
*****************************************************
* This is an SP console session. Output from the *
* serial console is also mirrored on this session. *
*****************************************************
adec::>
##4.3. 非ADP構成のディスク利用状況の確認 (約10分)
##4.3.1. クラスタシェル編 - プロンプトが「adec::>」
アグリゲート構成の確認
adec::> aggr status -r
Owner Node: adec-01
Aggregate: aggr0_adec_01 (online, raid_dp) (block checksums)
Plex: /aggr0_adec_01/plex0 (online, normal, active, pool0)
RAID Group /aggr0_adec_01/plex0/rg0 (normal, block checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
dparity 1.5.0 0 SAS 10000 546.9GB 558.9GB (normal)
parity 1.5.1 0 SAS 10000 546.9GB 558.9GB (normal)
data 1.5.2 0 SAS 10000 546.9GB 558.9GB (normal)
Owner Node: adec-02
Aggregate: aggr0_adec_02 (online, raid_dp) (block checksums)
Plex: /aggr0_adec_02/plex0 (online, normal, active, pool0)
RAID Group /aggr0_adec_02/plex0/rg0 (normal, block checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
dparity 1.5.3 0 SAS 10000 546.9GB 558.9GB (normal)
parity 1.5.4 0 SAS 10000 546.9GB 558.9GB (normal)
data 1.5.5 0 SAS 10000 546.9GB 558.9GB (normal)
6 entries were displayed.
非ADP構成になっていることを確認 (先頭3本 x2セットだけ使われている)
adec::> disk show -disk *
Disk Size Shelf Bay Type Type Name Owner
---------------- ---------- ----- --- ------- ----------- --------- --------
1.5.0 546.9GB 5 0 SAS aggregate aggr0_adec_01
adec-01
1.5.1 546.9GB 5 1 SAS aggregate aggr0_adec_01
adec-01
1.5.2 546.9GB 5 2 SAS aggregate aggr0_adec_01
adec-01
1.5.3 546.9GB 5 3 SAS aggregate aggr0_adec_02
adec-02
1.5.4 546.9GB 5 4 SAS aggregate aggr0_adec_02
adec-02
1.5.5 546.9GB 5 5 SAS aggregate aggr0_adec_02
adec-02
1.5.6 - 5 6 SAS unassigned - -
1.5.7 - 5 7 SAS unassigned - -
1.5.8 - 5 8 SAS unassigned - -
(後略)
##4.3.2. ノードシェル編 - プロンプトが「adec-01>」
Aでノードシェルに移行
adec::> node run -node adec-01
Aのノードシェルでアグリゲートの情報を表示
adec-01> aggr status -r
Aggregate aggr0_adec_01 (online, raid_dp) (block checksums)
Plex /aggr0_adec_01/plex0 (online, normal, active, pool0)
RAID group /aggr0_adec_01/plex0/rg0 (normal, block checksums)
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
dparity 0a.05.0 0a 5 0 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568
parity 0a.05.1 0a 5 1 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568
data 0a.05.2 0a 5 2 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568
(中略)
Partner disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
partner 0a.05.5 0a 5 5 SA:A 0 SAS 10000 0/0 572325/1172123568
partner 0a.05.3 0a 5 3 SA:A 0 SAS 10000 0/0 572325/1172123568
partner 0a.05.4 0a 5 4 SA:A 0 SAS 10000 0/0 572325/1172123568
※ ノードシェルで表示されるDISK名(0a.5.0)とクラスタシェルのDISK名(1.5.0)が異なる見え方になっていることを注意
Aですべてのディスクの情報を表示
adec-01> disk show -v
DISK OWNER POOL SERIAL NUMBER HOME DR HOME CHKSUM
------------ ------------- ----- ------------- ------------- ------------- --------
0d.19.23 Not Owned NONE KSJPWUSJ Block
0a.05.16 Not Owned NONE PPG5100A Block
0a.05.4 adec-02 (536873785) Pool0 PPG501AA adec-02 (536873785) Block
0a.05.7 Not Owned NONE PPG4ZU3A Block
0d.19.18 Not Owned NONE PPG54PNA Block
0d.19.17 Not Owned NONE PPG501GA Block
0a.05.20 Not Owned NONE PPG3D5XA Block
0a.05.3 adec-02 (536873785) Pool0 PPG5042A adec-02 (536873785) Block
0a.05.14 Not Owned NONE PPG518DA Block
0d.19.7 Not Owned NONE PPG5KJDA Block
0d.19.1 Not Owned NONE PPG4ZW1A Block
0d.19.16 Not Owned NONE PPG5JB5A Block
0a.05.11 Not Owned NONE PPG51U6A Block
0d.19.11 Not Owned NONE PPG5018A Block
0a.05.6 Not Owned NONE PPG4ZT9A Block
0a.05.1 adec-01 (536872934) Pool0 PPG506VA adec-01 (536872934) Block
0d.19.8 Not Owned NONE PPG504NA Block
0a.05.12 Not Owned NONE PPG50YBA Block
0d.19.13 Not Owned NONE PPG3R3GA Block
0d.19.9 Not Owned NONE PPG3RN1A Block
0a.05.22 Not Owned NONE PPG582AA Block
0a.05.13 Not Owned NONE PPG4ZU9A Block
0a.05.2 adec-01 (536872934) Pool0 PPG51HXA adec-01 (536872934) Block
0d.19.14 Not Owned NONE PPG4ZSZA Block
0a.05.18 Not Owned NONE PPG56LGA Block
0d.19.5 Not Owned NONE PPG4GWKA Block
0d.19.20 Not Owned NONE PPG4EUAA Block
0d.19.12 Not Owned NONE PPG50J6A Block
0a.05.23 Not Owned NONE PZH3ZAXD Block
0d.19.3 Not Owned NONE PPG4APXA Block
0a.05.0 adec-01 (536872934) Pool0 PPHVRJ3B adec-01 (536872934) Block
0a.05.21 Not Owned NONE PPG4ZXSA Block
0a.05.5 adec-02 (536873785) Pool0 PPG4EKRA adec-02 (536873785) Block
0d.19.22 Not Owned NONE PPG4ZVYA Block
0a.05.15 Not Owned NONE PPG54H0A Block
0d.19.0 Not Owned NONE PZH40GYD Block
0d.19.19 Not Owned NONE PPG4EKWA Block
0a.05.17 Not Owned NONE PPG50S2A Block
0a.05.10 Not Owned NONE PVJU2EXB Block
0a.05.19 Not Owned NONE PPG54NPA Block
0d.19.21 Not Owned NONE PPG4ZYEA Block
0d.19.15 Not Owned NONE PPG4ZV8A Block
0d.19.10 Not Owned NONE PZH40HWD Block
0a.05.8 Not Owned NONE S0M1QHK6 Block
0d.19.6 Not Owned NONE S0M6N2J2 Block
0d.19.2 Not Owned NONE S0M1PKZY Block
0a.05.9 Not Owned NONE S4237P8G Block
0d.19.4 Not Owned NONE 14I0A0O7FUZ6 Block
##4.4. ディスクのサニタイズ (5-6時間, 4.2.で2時間、4.5.～4.6.で1.2時間、4.8で2時間)
##4.4.1. サニタイズするためのDISKのオーナー設定とホットスペア化
「Not Owned」となっているディスクを、ノードA側のコントローラにすべて紐づける
直前の手順の結果から、adec-01 (536872934)とadec-02 (536873785)のカッコ内の数字をコマンドで指定する。
adec-01> disk assign -s 536872934 all
以下で実行結果を確認
adec-01> disk show -v
(実行結果が長いので省略)
以下で、rootアグリゲート用のDISK以外がスペアディスクとして認識されていることを確認
adec-01> aggr status -s
Pool1 spare disks (empty)
Pool0 spare disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
Spare disks for block checksum
spare 0d.19.4 0d 19 4 SA:B 0 SAS 10000 560000/1146880000 560208/1147307688 (not zeroed)
spare 0a.05.8 0a 5 8 SA:A 0 SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
spare 0a.05.9 0a 5 9 SA:A 0 SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
spare 0d.19.2 0d 19 2 SA:B 0 SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
spare 0d.19.6 0d 19 6 SA:B 0 SAS 10000 560000/1146880000 560208/1147307696 (not zeroed)
spare 0a.05.6 0a 5 6 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.7 0a 5 7 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.10 0a 5 10 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.11 0a 5 11 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.12 0a 5 12 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.13 0a 5 13 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.14 0a 5 14 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.15 0a 5 15 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.16 0a 5 16 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.17 0a 5 17 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.18 0a 5 18 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.19 0a 5 19 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.20 0a 5 20 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.21 0a 5 21 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.22 0a 5 22 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.23 0a 5 23 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.0 0d 19 0 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.1 0d 19 1 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.3 0d 19 3 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.5 0d 19 5 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.7 0d 19 7 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.8 0d 19 8 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.9 0d 19 9 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.10 0d 19 10 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.11 0d 19 11 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.12 0d 19 12 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.13 0d 19 13 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.14 0d 19 14 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.15 0d 19 15 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.16 0d 19 16 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.17 0d 19 17 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.18 0d 19 18 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.19 0d 19 19 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.20 0d 19 20 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.21 0d 19 21 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.22 0d 19 22 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0d.19.23 0d 19 23 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
##4.4.2. コントローラAでスペアディスクのSanitize実行(DISK #06-#23)
以下のoptionsコマンドを実行しするとyes or noを質問されるので、yesと入力
adec-01> options licensed_feature.disk_sanitization.enable on
You will not be able to disable this feature, are you sure you
wish to continue? [no] yes
DISKをスペース区切りで指定して、まとめてサニタイズを実行
adec-01> disk sanitize start -r -c 0a.05.6 0a.05.7 0a.05.8 0a.05.9 0a.05.10 0a.05.11 0a.05.12 0a.05.13 0a.05.14 0a.05.15 0a.05.16 0a.05.17 0a.05.18 0a.05.19 0a.05.20 0a.05.21 0a.05.22 0a.05.23 0d.19.0 0d.19.1 0d.19.2 0d.19.3 0d.19.4 0d.19.5 0d.19.6 0d.19.7 0d.19.8 0d.19.9 0d.19.10 0d.19.11 0d.19.12 0d.19.13 0d.19.14 0d.19.15 0d.19.16 0d.19.17 0d.19.18 0d.19.19 0d.19.20 0d.19.21 0d.19.22 0d.19.23
※ DISK本数が増えてもトータル時間は変わらない
※ 600GBのHDDで、1-2時間かかる。
以下のように注意・警告が表示されるので、yを2回入力
WARNING: Disk sanitization will remove all data from the selected disks and cannot be recovered.
Do you want to continue (y/n)? y
WARNING: The sanitization process might include a disk format.
If the system is power-cycled or rebooted during a disk format,
the disk might become unreadable. The process will attempt to
restart the format after 10 minutes.
The time required for the sanitization process might be significant,
depending on the size of the disk and the number of patterns and
cycles specified.
Do you want to continue (y/n)? y
The disk sanitization process has been initiated. When it is complete, the system's event log will be updated.
サニタイズ進捗チェック
adec-01> disk sanitize status
Sanitization for 0d.19.13 is 75% complete.
Sanitization for 0d.19.23 is 75% complete.
Sanitization for 0d.19.2 is 100% complete.
Sanitization for 0d.19.6 is 100% complete.
Sanitization for 0a.05.6 is 75% complete.
Sanitization for 0a.05.16 is 75% complete.
Sanitization for 0a.05.14 is 75% complete.
Sanitization for 0a.05.19 is 75% complete.
(後略)
※ 経年劣化しているHDDでは、サニタイズ処理による書き込みにリトライが多発し、そのHDDだけ進捗が遅い場合がある。
※ このサニタイズ処理が完了しないHDDは、故障DISKと判断される場合もある。
※ 故障DISKに対しては消去が行えないので、そのDISKの消去証明は取得できない。
※ 保守が残っていればDISKを交換後に再度実施する。保守が残っていなければさかのぼり保守を契約してDISKを交換後に再度実施する。
※ エンドユーザ側として、故障したDISKは消去証明を取らない、という方針であればその故障DISKは無視して次の手順に進む。
※ サニタイズが100％に達したDISKは、リリースして「Not Owned」状態に戻す。
サニタイズ済みDISKのリリース
adec-01> disk sanitize release 0a.05.6
adec-01> disk sanitize release 0a.05.7
adec-01> disk sanitize release 0a.05.8
adec-01> disk sanitize release 0a.05.9
adec-01> disk sanitize release 0a.05.10
adec-01> disk sanitize release 0a.05.11
adec-01> disk sanitize release 0a.05.12
adec-01> disk sanitize release 0a.05.13
adec-01> disk sanitize release 0a.05.14
adec-01> disk sanitize release 0a.05.15
adec-01> disk sanitize release 0a.05.16
adec-01> disk sanitize release 0a.05.17
adec-01> disk sanitize release 0a.05.18
adec-01> disk sanitize release 0a.05.19
adec-01> disk sanitize release 0a.05.20
adec-01> disk sanitize release 0a.05.21
adec-01> disk sanitize release 0a.05.22
adec-01> disk sanitize release 0a.05.23
adec-01> disk sanitize release 0d.19.0
adec-01> disk sanitize release 0d.19.1
adec-01> disk sanitize release 0d.19.2
adec-01> disk sanitize release 0d.19.3
adec-01> disk sanitize release 0d.19.4
adec-01> disk sanitize release 0d.19.5
adec-01> disk sanitize release 0d.19.6
adec-01> disk sanitize release 0d.19.7
adec-01> disk sanitize release 0d.19.8
adec-01> disk sanitize release 0d.19.9
adec-01> disk sanitize release 0d.19.10
adec-01> disk sanitize release 0d.19.11
adec-01> disk sanitize release 0d.19.12
adec-01> disk sanitize release 0d.19.13
adec-01> disk sanitize release 0d.19.14
adec-01> disk sanitize release 0d.19.15
adec-01> disk sanitize release 0d.19.16
adec-01> disk sanitize release 0d.19.17
adec-01> disk sanitize release 0d.19.18
adec-01> disk sanitize release 0d.19.19
adec-01> disk sanitize release 0d.19.20
adec-01> disk sanitize release 0d.19.21
adec-01> disk sanitize release 0d.19.22
adec-01> disk sanitize release 0d.19.23
※ まとめてリリースができず、1本ずつ指定する。
※ 障害のあるディスク以外は、ここで必ず全DISKをreleaseする。
※ releaseせずに以降の手順に進むと、releaseできなくなってreleaseするにはONTAPを初期化するところからリトライしなければならなくなります。
リリースされたDISKの確認 (1本だけリリースすると、以下の表示。)
adec-01> disk show -n
DISK OWNER POOL SERIAL NUMBER HOME DR HOME
------------ ------------- ----- ------------- ------------- -------------
0d.19.4 Not Owned NONE 14I0A0O7FUZ6
全ディスクでdisk sanitize releaseしたあとに、もう一度disk sanitize statusで残っている(サニタイズの遅い)DISKがないか確認。
adec-01> disk sanitize status
##4.4.3. サニタイズしたログの収集(1) (クラスタシェル)
ノードシェルの「adec-01> 」プロンプトの場合は、exitを実行してクラスタシェル「adec::>」に戻る。
adec-01> exit
adec::> system node run -node adec-01 -command sysconfig -a
adec::> system node run -node adec-02 -command sysconfig -a
adec::> system node run -node adec-01 -command disk show
adec::> system node run -node adec-02 -command disk show
adec::> disk show -v
adec::> security audit log show -node adec-01
adec::> security audit log show -node adec-02
adec::> node run -node adec-01
adec-01> rdfile /etc/log/sanitized_disks
adec-01> rdfile /etc/log/sanitization.log
adec-01> exit
adec::> node run -node adec-02 (B側でサニタイズしていない場合は不要)
adec-02> rdfile /etc/log/sanitized_disks (B側でサニタイズしていない場合は不要)
adec-02> rdfile /etc/log/sanitization.log (B側でサニタイズしていない場合は不要)
adec-02> exit
adec::>
##4.4.4. DISK #00-#05のかわりとなるrootディスクの準備(#18-#23)
サニタイズ完了後のDISKのなかから、3本をコントローラA、3本をコントローラBのホットスペアとして登録
adec::> node run -node adec-01 disk assign -o adec-01 0a.05.18 0a.05.19 0a.05.20
adec::> node run -node adec-02 disk assign -o adec-02 0a.05.21 0a.05.22 0a.05.23
稀に割り当てたDISKが「broken」表示になることがあるので、以下で確認
adec::> disk show -disk *
Usable Disk Container Container
Disk Size Shelf Bay Type Type Name Owner
---------------- ---------- ----- --- ------- ----------- --------- --------
1.5.0 546.9GB 5 0 SAS aggregate aggr0_adec_01
adec-01
1.5.1 546.9GB 5 1 SAS aggregate aggr0_adec_01
adec-01
1.5.2 546.9GB 5 2 SAS aggregate aggr0_adec_01
adec-01
1.5.3 546.9GB 5 3 SAS aggregate aggr0_adec_02
adec-02
1.5.4 546.9GB 5 4 SAS aggregate aggr0_adec_02
adec-02
1.5.5 546.9GB 5 5 SAS aggregate aggr0_adec_02
adec-02
1.5.6 - 5 6 SAS unassigned - -
1.5.7 - 5 7 SAS unassigned - -
1.5.8 - 5 8 SAS unassigned - -
1.5.9 - 5 9 SAS unassigned - -
1.5.10 - 5 10 SAS unassigned - -
1.5.11 - 5 11 SAS unassigned - -
1.5.12 - 5 12 SAS unassigned - -
1.5.13 - 5 13 SAS unassigned - -
Press <space> to page down, <return> for next line, or 'q' to quit...
Usable Disk Container Container
Disk Size Shelf Bay Type Type Name Owner
---------------- ---------- ----- --- ------- ----------- --------- --------
1.5.14 - 5 14 SAS unassigned - -
1.5.15 - 5 15 SAS unassigned - -
1.5.16 - 5 16 SAS unassigned - -
1.5.17 - 5 17 SAS unassigned - -
1.5.18 546.9GB 5 18 SAS broken - adec-01
1.5.19 546.9GB 5 19 SAS broken - adec-01
1.5.20 546.9GB 5 20 SAS broken - adec-01
1.5.21 546.9GB 5 21 SAS broken - adec-02
1.5.22 546.9GB 5 22 SAS broken - adec-02
1.5.23 546.9GB 5 23 SAS broken - adec-02
1.19.0 - 19 0 SAS unassigned - -
1.19.1 - 19 1 SAS unassigned - -
(後略)
brokenの場合は以下の手順で回復 (DISKの指定はノードシェル表記で記述)
adec::> set advanced
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.18
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.19
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.20
adec::*> node run -node adec-02 -command disk unfail -s -q 0a.05.21
adec::*> node run -node adec-02 -command disk unfail -s -q 0a.05.22
adec::*> node run -node adec-02 -command disk unfail -s -q 0a.05.23
3本ずつスペアになっているか確認
adec::*> storage aggregate show-spare-disks -owner-name adec-01
adec::*> storage aggregate show-spare-disks -owner-name adec-02
(表示結果省略)
##4.4.5. コントローラAのroot領域の移動
コントローラB側のSP(192.168.70.94)にSSHして、ログインし、クラスタシェルを実行
SP SR-8040-01-02> system console
(admin / パスワード入力)
rootを移動するコマンドを実行（DISK名はクラスタシェル表記で実行）
コントローラAはDISKの#18-#20, コントローラBは#21-#23を使う想定。クラスタのDISK名を使用。
adec::> set advanced
adec::*> system node migrate-root -node adec-01 -disklist 1.5.18,1.5.19,1.5.20
Warning: This operation will create a new root aggregate and replace the
existing root on the node "adec-01". The existing root aggregate will
be discarded.
Do you want to continue? {y|n}: y
Info: Started migrate-root job. Run "job show -id 34 -instance" command to
check the progress of the job.
adec::*> job show -id 34 -instance
Job ID: 34
Owning Vserver: adec
Name: Migrate root aggregate
Description: Root aggregate migration job for node adec-01
Priority: High
Node: adec-02
Affinity: Cluster
Schedule: @now
Queue Time: 08/31 10:35:36
Start Time: 08/31 10:35:36
End Time: -
Drop-dead Time: -
Restarted?: false
State: Running
Status Code: 0
Completion String:
Job Type: NDO Migrate Root
Job Category: Non Disruptive Operation
UUID: 2dbed9ee-0a47-11ec-a416-00a09854cc46
Execution Progress: Starting node configuration backup. This might take several minutes.
User Name: admin
Restart Is Delayed by Module: -
adec::*>
adec::*>
※30分ほど経過後、job show -idを何度か実行し、「Execution Progress:」が完了していることを確認。
「Execution Progress: Complete: Root aggregate migration successfully completed」
##4.4.6. コントローラBのroot領域の移動
コントローラA側のSP(192.168.70.93)にSSHして、ログインし、クラスタシェルを実行
SP SR-8040-01-01> system console
(admin / パスワード入力)
adec::>
rootを移動するコマンドを実行（DISK名はクラスタシェル表記で実行）
コントローラAはDISKの#18-#20, コントローラBは#21-#23を使う想定。
adec::> set advanced
adec::*> system node migrate-root -node adec-02 -disklist 1.5.21,1.5.22,1.5.23
Warning: This operation will create a new root aggregate and replace the
existing root on the node "adec-02". The existing root aggregate will
be discarded.
Do you want to continue? {y|n}: y
Info: Started migrate-root job. Run "job show -id <数字> -instance" command to
check the progress of the job.
adec::*> job show -id 44 -instance
※30分ほど経過後、job show -idを何度か実行し、「Execution Progress:」が完了していることを確認。
「Execution Progress: Complete: Root aggregate migration successfully completed」
##4.4.7. root領域の移動結果確認
移動後のDISK名が表示されることを確認（クラスタシェルでDISK番号をチェック）
adec::*> aggr status -r
Owner Node: adec-01
Aggregate: aggr0_adec_01 (online, raid_dp) (block checksums)
Plex: /aggr0_adec_01/plex0 (online, normal, active, pool0)
RAID Group /aggr0_adec_01/plex0/rg0 (normal, block checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
dparity 1.5.18 0 SAS 10000 546.9GB 558.9GB (normal)
parity 1.5.19 0 SAS 10000 546.9GB 558.9GB (normal)
data 1.5.20 0 SAS 10000 546.9GB 558.9GB (normal)
Owner Node: adec-02
Aggregate: aggr0_adec_02 (online, raid_dp) (block checksums)
Plex: /aggr0_adec_02/plex0 (online, normal, active, pool0)
RAID Group /aggr0_adec_02/plex0/rg0 (normal, block checksums)
Usable Physical
Position Disk Pool Type RPM Size Size Status
-------- --------------------------- ---- ----- ------ -------- -------- ----------
dparity 1.5.21 0 SAS 10000 546.9GB 558.9GB (normal)
parity 1.5.22 0 SAS 10000 546.9GB 558.9GB (normal)
data 1.5.23 0 SAS 10000 546.9GB 558.9GB (normal)
6 entries were displayed.
もともとrootだったDISK #00-#02がスペアになっていることの確認(コントローラA)
adec::*> storage aggregate show-spare-disks -owner-name adec-01
Original Owner: adec-01
Pool0
Spare Pool
Usable Physical
Disk Type Class RPM Checksum Size Size Status
---------------- ------ ----------- ------ -------------- -------- -------- --------
1.5.0 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.1 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.2 SAS performance 10000 block 546.9GB 558.9GB not zeroed
3 entries were displayed.
もともとrootだったDISK #03-#05がスペアになっていることの確認(コントローラB)
adec::*> storage aggregate show-spare-disks -owner-name adec-02
Original Owner: adec-02
Pool0
Spare Pool
Usable Physical
Disk Type Class RPM Checksum Size Size Status
---------------- ------ ----------- ------ -------------- -------- -------- --------
1.5.3 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.4 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.5 SAS performance 10000 block 546.9GB 558.9GB not zeroed
3 entries were displayed.
ノードシェルでも、スペアになっていることを確認。
adec::*> node run -node adec-01 -command aggr status -s
Pool1 spare disks (empty)
Pool0 spare disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
Spare disks for block checksum
spare 0a.05.0 0a 5 0 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.1 0a 5 1 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.2 0a 5 2 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
adec::*> node run -node adec-02 -command aggr status -s
Pool1 spare disks (empty)
Pool0 spare disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
Spare disks for block checksum
spare 0a.05.3 0a 5 3 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.4 0a 5 4 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.5 0a 5 5 SA:B 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
##4.4.8. コントローラAでDISK #00-#05のSanitize実行
コントローラB側がOwnしているDISKもA側でまとめてサニタイズするので、#03-#05のオーナー権限を外す
adec::> set advanced
adec::*> disk removeowner -disk 1.5.3
adec::*> disk removeowner -disk 1.5.4
adec::*> disk removeowner -disk 1.5.5
オーナーを外したDISKをコントローラAに割り当てる。(ノードシェル用DISK名で実行)
adec::*> node run -node adec-01 disk assign -o adec-01 0a.05.3 0a.05.4 0a.05.5
実行結果の確認
adec::*> node run -node adec-01 -command aggr status -s
Pool1 spare disks (empty)
Pool0 spare disks
RAID Disk Device HA SHELF BAY CHAN Pool Type RPM Used (MB/blks) Phys (MB/blks)
--------- ------ ------------- ---- ---- ---- ----- -------------- --------------
Spare disks for block checksum
spare 0a.05.0 0a 5 0 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.1 0a 5 1 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.2 0a 5 2 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.3 0a 5 3 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.4 0a 5 4 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
spare 0a.05.5 0a 5 5 SA:A 0 SAS 10000 560000/1146880000 572325/1172123568 (not zeroed)
adec::*> storage aggregate show-spare-disks -owner-name adec-01
Original Owner: adec-01
Pool0
Spare Pool
Usable Physical
Disk Type Class RPM Checksum Size Size Status
---------------- ------ ----------- ------ -------------- -------- -------- --------
1.5.0 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.1 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.2 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.3 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.4 SAS performance 10000 block 546.9GB 558.9GB not zeroed
1.5.5 SAS performance 10000 block 546.9GB 558.9GB not zeroed
6 entries were displayed.
サニタイズ実行 (#00-#05) - ノードシェルのDISK名を使用
adec::*> node run -node adec-01 disk sanitize start -r -c 1 0a.05.0 0a.05.1 0a.05.2 0a.05.3 0a.05.4 0a.05.5
adec::*> node run -node adec-01 disk sanitize status
Sanitization for 0a.05.5 is 57% complete.
Sanitization for 0a.05.3 is 57% complete.
Sanitization for 0a.05.2 is 56% complete.
Sanitization for 0a.05.4 is 57% complete.
Sanitization for 0a.05.0 is 56% complete.
Sanitization for 0a.05.1 is 56% complete.
adec::*> node run -node adec-01 rdfile /etc/log/sanitization.log
Tue Aug 31 12:17:33 Disk sanitization initiated on drive 0a.05.4 [S/N PPG501AA]
Tue Aug 31 12:17:33 Disk sanitization initiated on drive 0a.05.3 [S/N PPG5042A]
Tue Aug 31 12:17:33 Disk sanitization initiated on drive 0a.05.5 [S/N PPG4EKRA]
Tue Aug 31 12:18:20 Disk sanitization initiated on drive 0a.05.1 [S/N PPG506VA]
Tue Aug 31 12:18:20 Disk sanitization initiated on drive 0a.05.0 [S/N PPHVRJ3B]
Tue Aug 31 12:18:20 Disk sanitization initiated on drive 0a.05.2 [S/N PPG51HXA]
adec::*> node run -node adec-01 disk sanitize status
Sanitization for 0a.05.5 is 100% complete.
Sanitization for 0a.05.3 is 100% complete.
Sanitization for 0a.05.2 is 100% complete.
Sanitization for 0a.05.4 is 100% complete.
Sanitization for 0a.05.0 is 100% complete.
Sanitization for 0a.05.1 is 100% complete.
adec::*> node run -node adec-01 rdfile /etc/log/sanitized_disks
※ このコマンドは何も表示されないことがあります。node run -node adec-0?を実行した後のノードシェルでrdfileしてください。
adec::*> node run -node adec-01
adec-01> rdfile /etc/log/sanitized_disks
(DISK6本分が表示されることを確認)
adec-01> exit
adec::*> node run -node adec-01 disk sanitize release 0a.05.0
adec::*> node run -node adec-01 disk sanitize release 0a.05.1
adec::*> node run -node adec-01 disk sanitize release 0a.05.2
adec::*> node run -node adec-01 disk sanitize release 0a.05.3
adec::*> node run -node adec-01 disk sanitize release 0a.05.4
adec::*> node run -node adec-01 disk sanitize release 0a.05.5
adec::*> node run -node adec-01 disk show -v
adec::*> disk show
ログ取得用に、コントローラAに、シェルフ1段目の未使用の#00-#17をアサイン
※ 故障したDISKは不要
adec::*> node run -node adec-01 disk assign -o adec-01 0a.05.0 0a.05.1 0a.05.2 0a.05.3 0a.05.4 0a.05.5 0a.05.6 0a.05.7 0a.05.8 0a.05.9 0a.05.10 0a.05.11 0a.05.12 0a.05.13 0a.05.14 0a.05.15 0a.05.16 0a.05.17
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.0
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.1
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.2
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.3
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.4
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.5
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.6
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.7
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.8
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.9
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.10
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.11
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.12
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.13
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.14
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.15
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.16
adec::*> node run -node adec-01 -command disk unfail -s -q 0a.05.17
ログ取得用に、コントローラAに、シェルフ2段目の未使用の#00-#23をアサイン
※ 故障したDISKは不要
adec::*> node run -node adec-01 disk assign -o adec-01 0d.19.0 0d.19.1 0d.19.2 0d.19.3 0d.19.4 0d.19.5 0d.19.6 0d.19.7 0d.19.8 0d.19.9 0d.19.10 0d.19.11 0d.19.12 0d.19.13 0d.19.14 0d.19.15 0d.19.16 0d.19.17 0d.19.18 0d.19.19 0d.19.20 0d.19.21 0d.19.22 0d.19.23
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.0
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.1
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.2
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.3
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.4
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.5
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.6
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.7
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.8
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.9
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.10
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.11
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.12
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.13
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.14
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.15
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.16
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.17
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.18
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.19
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.20
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.21
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.22
adec::*> node run -node adec-01 -command disk unfail -s -q 0d.19.23
##4.4.9. サニタイズしたログの収集(2) (クラスタシェル)
adec::> system node run -node adec-01 -command disk show
adec::> system node run -node adec-02 -command disk show
adec::> disk show
adec::> security audit log show -node adec-01
adec::> security audit log show -node adec-02
adec::> node run -node adec-01
adec-01> rdfile /etc/log/sanitized_disks
adec-01> rdfile /etc/log/sanitization.log
adec-01> exit
adec::> node run -node adec-02 (B側でサニタイズしてない場合は不要）
adec-02> rdfile /etc/log/sanitized_disks
adec-02> rdfile /etc/log/sanitization.log
adec-02> exit