LoginSignup
1
2

Exadata Cloud Service : ASM Cluster File System (ACFS)設定してみてみた

Last updated at Posted at 2021-09-19

Oracle ASM Cluster File System(ACFS)は、POSIX、X/OPEN、およびWindowsに準拠した業界標準のクラスタ・ファイル・システムで複数のノードからアクセスできる共有ファイルシステムで、expdp/impdp,バッチやデータ・ロード用途のファイル配置場所として使用します
ACFSの管理コマンドとしてacfsutilがあり、ファイルシステムを動的拡張することができ、18c以降ではファイル・システムのサイズを動的縮小することもできます。

Exadata Cloud Servie (ExaCS) 、Database Cloud Service (DBCS)では ASM が使用されており、デフォルトで ACFS 領域がありますがパッチ自動配置などシステムで使用される必要領域です。ということで、個別に ACFS 領域を作成してデータ移行用途でデータ・ポンプの dump ファイルを配置できるようにしてみてみます。

■ ACFS ボリューム作成

DUMPSTORE という名前で ACFS ボリューム作成してみてみます

1) Gridユーザー スイッチ

[opc@exacs-tokyo ~]$ sudo su - grid
	Last login: Tue Sep  7 11:25:04 UTC 2021
[grid@exacs-tokyo ~]$ id
	uid=1000(grid) gid=1001(oinstall) groups=1001(oinstall),1004(asmdba),1005(asmoper),1006(asmadmin)

2) ASM Disk Group確認

[grid@exacs-tokyo ~]$ asmcmd lsdg
	State    Type  Rebal  Sector  Logical_Sector  Block       AU   Total_MB    Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
	MOUNTED  HIGH  N         512             512   4096  4194304  188301312  175272036         10461184        54936950              0             Y  DATAC1/
	MOUNTED  HIGH  N         512             512   4096  4194304  282488832  282433800         15693824        88913325              0             N  RECOC1/

3) ADVMボリュームに関する情報表示

[grid@exacs-tokyo ~]$ asmcmd
ASMCMD> volinfo --all
	Diskgroup Name: DATAC1

		Volume Name: ACFSVOL01
		Volume Device: /dev/asm/acfsvol01-75
		State: ENABLED
		Size (MB): 1146880
		Resize Unit (MB): 64
		Redundancy: HIGH
		Stripe Columns: 8
		Stripe Width (K): 1024
		Usage: ACFS
		Mountpath: /acfs01

4) ADVMボリュームDUMPSTORE作成

ここでは、既存のASMボリュームDATAC1上に ACFS領域のボリューム名を DUMPSTORE,サイズを3TBとして作成

ASMCMD> volcreate -G DATAC1 -s 3T DUMPSTORE

● ACFSボリューム確認

作成したDUMPSTOREボリューム情報確認

1) ASCMDコマンド確認

ASMCMD> volinfo -G DATAC1 DUMPSTORE
	Diskgroup Name: DATAC1

		Volume Name: DUMPSTORE
		Volume Device: /dev/asm/dumpstore-75
		State: ENABLED
		Size (MB): 3145728
		Resize Unit (MB): 64
		Redundancy: HIGH
		Stripe Columns: 8
		Stripe Width (K): 1024
		Usage:
		Mountpath:

ASMCMD> volinfo --all
	Diskgroup Name: DATAC1

		Volume Name: ACFSVOL01
		Volume Device: /dev/asm/acfsvol01-75
		State: ENABLED
		Size (MB): 1146880
		Resize Unit (MB): 64
		Redundancy: HIGH
		Stripe Columns: 8
		Stripe Width (K): 1024
		Usage: ACFS
		Mountpath: /acfs01

		Volume Name: DUMPSTORE
		Volume Device: /dev/asm/dumpstore-75
		State: ENABLED
		Size (MB): 3145728
		Resize Unit (MB): 64
		Redundancy: HIGH
		Stripe Columns: 8
		Stripe Width (K): 1024
		Usage:
		Mountpath:

2) OSコマンド確認

作成された OSデバイスファイルを確認
ここでは、/dev/asm/dumpstore-75 になります。ここにACFSファイルシステムを作成します。

[grid@exacs-tokyo ~]$ ls -l /dev/asm/*
	brwxrwx--- 1 root asmadmin 251, 38401 Jan 26 02:05 /dev/asm/acfsvol01-75
	brwxrwx--- 1 root asmadmin 251, 38402 Jan 26 11:51 /dev/asm/dumpstore-75

■ ACFS ファイル・システムの作成

作成された DUMPSTORE Volume の Volume Device へ ACFS ファイル・システムの作成

● ACFS ファイル・システム作成

1) ACFS ファイル・システム作成

上記確認したOSデバイスファイル名 /dev/asm/dumpstore-75 へACFSファイル・システムを作成

[root@exacs-tokyo ~]# mkfs -t acfs /dev/asm/dumpstore-75
	mkfs.acfs: version                   = 19.0.0.0.0
	mkfs.acfs: on-disk version           = 46.0
	mkfs.acfs: volume                    = /dev/asm/dumpstore-75
	mkfs.acfs: volume size               = 3298534883328  (   3.00 TB )
	mkfs.acfs: Format complete.

● ACFS ファイル・システム Mount

1) rootユーザー へ切替

[grid@exacs-tokyo-p2vye1 ~]$ exit
[root@dbcs-tokyo2 ~]# id -a
	uid=0(root) gid=0(root) groups=0(root)

2) マウント・ポイント /acfs02 作成 (全Nodeで実施)

[root@exacs-tokyo ~]# mkdir -p /acfs02

3) /acfs02 自動マウント設定 (1 nodeのみで実施)

切り出したボリュームを、/acfs02 に grid ユーザとしてマウントするように srvctlコマンドで設定
*srvctlコマンドは、gridユーザーの $ORACLE_HOME/bin/srvctl にあります。

[root@exacs-tokyo ~]# /u01/app/19.0.0.0/grid/bin/srvctl add filesystem -d /dev/asm/dumpstore-75 -g DATAC1 -v DUMPSTORE -m /acfs02 -u grid

4) /acfs02 マウント実施 (1 nodeのみで実施)

*srvctlコマンドは、gridユーザーの $ORACLE_HOME/bin/srvctl にあります。

[root@exacs-tokyo ~]# /u01/app/19.0.0.0/grid/bin/srvctl start filesystem -d /dev/asm/dumpstore-75

5) srvctl status is mounted確認 (全Nodeで実施)

[root@exacs-tokyo ~]# /u01/app/19.0.0.0/grid/bin/srvctl status filesystem
	ACFS file system /acfs01 is mounted on nodes exacs-tokyo-b7yzk1,exacs-tokyo-b7yzk2
	ACFS file system /acfs02 is mounted on nodes exacs-tokyo-b7yzk1,exacs-tokyo-b7yzk2

6) /acfs02 マウント確認 (全Nodeで実施)

[root@exacs-tokyo ~]# ls -l / | grep acfs
	drwxr-xr-x    7 root   root     32768  1月 25 13:09 acfs01
	drwxr-xr-x    2 root   root         6  1月 26 11:59 acfs02

[root@exacs-tokyo ~]# df -hT
	ファイルシス                                             タイプ   サイズ  使用  残り 使用% マウント位置
	devtmpfs                                                 devtmpfs   684G     0  684G    0% /dev
	tmpfs                                                    tmpfs      1.4T  721M  1.4T    1% /dev/shm
	tmpfs                                                    tmpfs      684G  2.7M  684G    1% /run
	tmpfs                                                    tmpfs      684G     0  684G    0% /sys/fs/cgroup
	/dev/mapper/VGExaDb-LVDbSys1                             xfs         15G  6.0G  9.1G   40% /
	/dev/sda1                                                xfs        509M   85M  425M   17% /boot
	/dev/mapper/VGExaDbDisk.u01.20.img-LVDBDisk              xfs        250G  1.1G  249G    1% /u01
	/dev/mapper/VGExaDb-LVDbKdump                            xfs         20G   33M   20G    1% /crashfiles
	/dev/mapper/VGExaDbDisk.grid19.0.0.0.210720.img-LVDBDisk xfs         50G   11G   40G   21% /u01/app/19.0.0.0/grid
	/dev/mapper/VGExaDb-LVDbVar1                             xfs         10G  971M  9.1G   10% /var
	/dev/mapper/VGExaDbDisk.u02_extra.img-LVDBDisk           ext4       763G   12G  712G    2% /u02
	/dev/mapper/VGExaDb-LVDbVarLog                           xfs         30G  235M   30G    1% /var/log
	/dev/mapper/VGExaDb-LVDbTmp                              xfs         10G   84M   10G    1% /tmp
	/dev/mapper/VGExaDb-LVDbHome                             xfs        4.0G   45M  4.0G    2% /home
	/dev/mapper/VGExaDb-LVDbVarLogAudit                      xfs         10G  135M  9.9G    2% /var/log/audit
	/dev/asm/acfsvol01-75                                    acfs       1.1T   35G  1.1T    4% /acfs01
	tmpfs                                                    tmpfs      137G     0  137G    0% /run/user/2000
	/dev/asm/dumpstore-75                                    acfs       3.0T  6.7G  3.0T    1% /acfs02

■ ACFS 動的拡張/縮小

● ACFS領域確認

1) grid ユーザーログイン

[grid@exacs-tokyo ~]$ su - grid

2) ASM Disk確認

[grid@exacs-tokyo ~]$ asmcmd lsdg
	State    Type  Rebal  Sector  Logical_Sector  Block       AU   Total_MB    Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
	MOUNTED  HIGH  N         512             512   4096  4194304  282488832  278894784         15693824        87733653              0             Y  DATAC1/
	MOUNTED  HIGH  N         512             512   4096  4194304   94150656   94094916          5230592        29621441              0             N  RECOC1/
	MOUNTED  HIGH  N         512             512   4096  4194304  941506560  941495208         52305920       296396429              0             N  SPRC1/

3) acfsマウントポイントとサイズ確認

[grid@exacs-tokyo ~]$ df -hT | grep acfs
	/dev/asm/acfsvol01-472       acfs      1.1T   61G  1.1T   6% /acfs01

4) ASMディスク・グループ確認

[grid@exacs-tokyo ~]$ acfsutil info storage
	Diskgroup      Consumer      Space     Size With Mirroring  Usable Free  %Free   Path
	DATAC1                      269.40              89.80          83.67       93%
				ACFSVOL01       3.28               1.09           1.03       94%   /acfs01
	RECOC1                       89.79              29.93          28.25       94%
	SPRC1                       897.89             299.30         282.67       94%
	----
	unit of measurement: TB

● ACFS サイズ拡張

1TB から 5TB へ拡張してみてみます

1) ACFS サイズ拡張

[grid@exacs-tokyo ~]$ acfsutil size 5T /acfs01
	acfsutil size: Resizing file system in steps
	acfsutil size: Resizing file system to 1.1094 TB
	acfsutil size: Resizing file system to 1.1250 TB
	・・・
	acfsutil size: Resizing file system to 4.9688 TB
	acfsutil size: Resizing file system to 4.9844 TB
	acfsutil size: Resizing file system to 5.0000 TB
	acfsutil size: new file system size: 5497558138880 (5242880MB)

2) ASMディスク・グループ確認

ファイルシステムが拡張されたため、Usable Freeが拡張されていることが確認できます

[grid@exacs-tokyo ~]$ acfsutil info storage
	Diskgroup      Consumer      Space     Size With Mirroring  Usable Free  %Free   Path
	DATAC1                      269.40              89.80          79.76       88%
				ACFSVOL01      15.00               5.00           4.93       98%   /acfs01
	RECOC1                       89.79              29.93          28.25       94%
	SPRC1                       897.89             299.30         282.67       94%
	----
	unit of measurement: TB

3) acfsファイルシステム拡張確認

acfsファイルシステムのサイズが拡張されていることを確認

[grid@exacs-tokyo ~]$ df -hT | grep acfs
	/dev/asm/acfsvol01-472       acfs      5.0T   69G  5.0T   2% /acfs01

● ACFS領域縮小

5TB から 8GBへ縮小してみてみます

1) acfsサイズ縮小

[grid@exacs-tokyo ~]$ acfsutil size 800G /acfs01
	acfsutil size: Resizing file system in steps
	acfsutil size: Resizing file system to 4.9844 TB
	acfsutil size: Resizing file system to 4.9688 TB
	・・・
	acfsutil size: Resizing file system to 0.7969 TB
	acfsutil size: Resizing file system to 0.7813 TB
	acfsutil size: new file system size: 858993459200 (819200MB)

2) acfsのサイズが縮小されていることを確認

[grid@exacs-tokyo ~]$ df -hT | grep acfs
	/dev/asm/acfsvol01-472       acfs      800G   68G  733G   9% /acfs01

■ 参考

・マニュアル

 - Oracle Automatic Storage Management Cluster File System
 - 管理者ガイド: ASMCMDによるOracle ADVMの管理
 - ACFSファイルシステムのサイズ変更: acfsutil size

・Oracle ホワイト・ペーパー

 - Oracle ACFSとその使用方法について

1
2
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
2