Oracle Cloud Infrastructure Block Storageを複数のコンピュート・インスタンスにアタッチ
Oracle Cluster File System（OCFS2）を利用した同時書き込み制御
Oracle Linux 7.9

はじめに

Oracle Cloud Infrastructureで利用可能なブロック・ボリュームは、読取り/書込みアクセスに対応する共有可能なボリュームとして、複数のコンピュート・インスタンス（最大8台）に接続して利用することができます。一方で、同時書込み操作の調整する機能備わっていないため、読取り/書込み操作によるデータ破損を防止するには、Oracle Cluster File System（OCFS2）やIBM Spectrum Scale、GlusterFSなどのクラスタウェアを導入することが必要となります。本記事では、OCFS2を利用してブロック・ボリュームを複数のコンピュート・インスタンスから書き込み可能な共有ストレージとして利用する手順を記します。

Oracle Cloud Infrastructureのリソースの準備

OCI上のネットワークの構成

インターネット接続性を持つVCN作成ウィザード

OCIダッシュボードにログインし、OCIダッシュボードメニューから、ネットワーキング>概要にアクセスし、画面中央の「インターネット接続性を持つVCN作成」の「VCNウィザードの起動」を選択してください。

下記にウィザード内の入力例を記します。

基本情報
- VCN名 : 任意のVCN名　OCFS_VCN
- コンパートメント : 任意のコンパートメント名　 /dev
VCNとサブネットの構成
- VCN CIDRブロック 172.0.0.0/16
- パブリック・サブネットCIDRブロック　172.0.0.0/24
- プライベート・サブネットCIDRブロック　172.0.1.0/24
- DNS解決：選択

セキュリティ・ルールの変更

パブリック・サブネットに配置する2台のLinuxサーバでOCFS2を構成する際に使用するNWポートが利用できるように、パブリック・サブネットにアサインされているセキュリティ・ルールの設定を編集します。OCIダッシュボードメニューから、ネットワーキング>仮想クラウド・ネットワークにアクセスし、作成したVCN (本記事内ではMySQLTest) を選択、画面左下のリソースメニューよりセキュリティ・リストを選択、セキュリティ・リストの一覧よりDefault Security List for VCN名を選択、画面中央のイングレス・ルールの追加ボタンをクリックし、下記の設定を追記してください。

ステートレス	ソース・タイプ	ソースCIDR	IPプロトコル	ソース・ポート範囲	宛先ポート範囲
いいえ	CIDR	172.0.0.0/24	TCP	All	7777

OCFSクラスタ・ノード用途のCompute VMインスタンスの作成

クラスタを構成するLunuxサーバとして、2台のCompute VMインスタンスを構築します。OCIダッシュボードメニューから、コンピュート>コンピュート>インスタンスにアクセスします。インスタンスの作成ボタンを押してComputeインスタンスの作成ウィザードを開始します。
1台目のクラスタ・ノードOCFS_Node1を作成する際の。ウィザード内入力例を下記に示します。

名前　: 任意名前　OCFS_Node1
コンパートメントの選択 : 任意のコンパートメント名　 /dev
配置とハードウェアの構成
- 可用性ドメインの選択　：デフォルト　Fubk:AP-TOKYO-1-AD-1
- フォルト・ドメインの選択　：デフォルト　 FAULT-DOMAIN-1
- イメージ：Oracle Linux 7.9
- シェイプの選択：デフォルト　 VM.Standard.E2.1.Micro
ネットワーキングの構成
- 仮想クラウド・ネットワーク: OCFS_VCN
- サブネット: パブリック・サブネット-OCFS_VCN
- ネットワーク・セキュリティ・グループを使用してトラフィックを制御: いいえ
- パブリックIPv4アドレスの割当て: はい
SSHキーの追加：公開キー・ファイルの選択
ブート・ボリュームの構成　：デフォルト設定

同様に2台目のクラスタ・ノードとしてOCFS_Node2を作成します。

ブロック・ボリュームの作成とマウント

クラスタで共有するブロック・ボリュームを作成して、各ノードからマウントします。OCIダッシュボードメニューから、ストレージ>ブロック・ストレージ>ブロック・ボリュームにアクセスします。ブロック・ボリュームの作成ボタンを押してブロック・ボリュームの作成ウィザードを開始します。
ブロック・ボリュームOCFS_Volumeを作成する際の。ウィザード内入力例を下記に示します。

名前　: 任意名前　OCFS_Volume
コンパートメントの選択 : 任意のコンパートメント名　 /dev
可用性ドメインの選択　：デフォルト　Fubk:AP-TOKYO-1-AD-1
ボリューム・サイズとパフォーマンス　：カスタム
- ボリューム・サイズ(GB)　：50
- ターゲットのボリューム・パフォーマンス(VPU)　：10　バランス
バックアップ・ポリシー : 任意選択しない
クロス・リージョン・レプリケーション：任意オフ
暗号化　：デフォルト設定　Oracle管理キーを使用した暗号化

下記ような作成したブロック・ボリュームの詳細画面左下のリソースメニューよりアタッチされたインスタンスボタンを選択、アタッチされたインスタンス画面に遷移します。

インスタンスにアタッチボタンを選択、下記のように入力し作成済のLinuxサーバOCFS_Node1にアタッチします。

アタッチメント・タイプ　:準仮想化
アクセス・タイプ : 読取り/書込み - 共有可能　（表示される注意書きにチェック）
可用性ドメインの選択　：デフォルト　Fubk:AP-TOKYO-1-AD-1
インスタンス
- インスタンスの選択 :DevコンパートメントのOCFS_Node1を選択
- デバイス・パス　： /dev/oracleoci/oraclevdb

同様の操作をOCFS_Node2に対しても行い、OCFS_Volumeを共有ストレージとしてアタッチします。

アタッチメント・タイプ　:準仮想化
アクセス・タイプ : 読取り/書込み - 共有可能　（表示される注意書きにチェック）
可用性ドメインの選択　：デフォルト　Fubk:AP-TOKYO-1-AD-1
インスタンス
- インスタンスの選択 :DevコンパートメントのOCFS_Node2を選択
- デバイス・パス　： /dev/oracleoci/oraclevdb

OCFSクラスタの構成

事前準備とクラスタ構成ファイルの作成

この項の手順はOCFS_Node1およびOCFS_Node2の両方のComputeサーバにSSH接続して同様に行います。
まず、それぞれのComputeサーバのHOSTNAMEとIPアドレスを調べメモしておきます。

インスタンス名	HOSTNAME	IPアドレス
OCFS_Node1	ocfs-node1	172.0.0.9
OCFS_Node2	ocfs-node2	172.0.0.85

次に、それぞれのComputeサーバで利用するポートを解放します。

$ sudo firewall-cmd --zone=public --permanent --add-port=7777/tcp
$ sudo firewall-cmd --complete-reload

利用するOCFS2のパッケージをインストールします。

$ sudo yum install ocfs2-tools-devel ocfs2-tools -y

クラスタ構成ファイル (cluster.conf) を作成します。直接テキストエディタで作成しても良いですが、本記事ではo2cbコマンドを利用して生成します。

$ sudo o2cb add-cluster ociocfs2
$ sudo o2cb add-node ociocfs2 ocfs-node1 --ip 172.0.0.9
$ sudo o2cb add-node ociocfs2  ocfs-node2 --ip 172.0.0.85

これらのコマンドで生成される構成ファイルは下記のようになります。

$ sudo cat /etc/ocfs2/cluster.conf
cluster:
	heartbeat_mode = local
	node_count = 2
	name = ociocfs2

node:
	number = 0
	cluster = ociocfs2
	ip_port = 7777
	ip_address = 172.0.0.9
	name = ocfs-node1

node:
	number = 1
	cluster = ociocfs2
	ip_port = 7777
	ip_address = 172.0.0.85
	name = ocfs-node2

OCFSクラスタの構成

この項の手順もOCFS_Node1およびOCFS_Node2の両方のComputeサーバにSSH接続して同様に行います。
前の手順で作成したクラスタ構成ファイルを利用して、下記コマンドでOCFSクラスタを構成します。
（Cluster to start on boot (Enter "none" to clear) [ocfs2]: の箇所でcluster.confに記載したcluster名を入力することがポイント）

$ sudo /sbin/o2cb.init configure
Configuring the O2CB driver.

This will configure the on-boot properties of the O2CB driver.
The following questions will determine whether the driver is loaded on
boot.  The current values will be shown in brackets ('[]').  Hitting
<ENTER> without typing an answer will keep that current value.  Ctrl-C
will abort.

Load O2CB driver on boot (y/n) [n]: y
Cluster stack backing O2CB [o2cb]: 
Cluster to start on boot (Enter "none" to clear) [ocfs2]: ociocfs2
Specify heartbeat dead threshold (>=7) [31]: 
Specify network idle timeout in ms (>=5000) [30000]: 
Specify network keepalive delay in ms (>=1000) [2000]: 
Specify network reconnect delay in ms (>=2000) [2000]: 
Writing O2CB configuration: OK
checking debugfs...
Loading stack plugin "o2cb": OK
Loading filesystem "ocfs2_dlmfs": OK
Creating directory '/dlm': OK
Mounting ocfs2_dlmfs filesystem at /dlm: OK
Setting cluster stack "o2cb": OK
Registering O2CB cluster "ociocfs2": OK
Setting O2CB cluster timeouts : OK
[opc@ocfs-node2 ~]$ sudo /sbin/o2cb.init status
Driver for "configfs": Loaded
Filesystem "configfs": Mounted
Stack glue driver: Loaded
Stack plugin "o2cb": Loaded
Driver for "ocfs2_dlmfs": Loaded
Filesystem "ocfs2_dlmfs": Mounted
Checking O2CB cluster "ociocfs2": Online
  Heartbeat dead threshold: 31
  Network idle timeout: 30000
  Network keepalive delay: 2000
  Network reconnect delay: 2000
  Heartbeat mode: Local
Checking O2CB heartbeat: Not active
Debug file system at /sys/kernel/debug: mounted

/sbin/o2cb.init statusコマンドを実行し、構成したクラスタのステータスを確認します。

$ sudo /sbin/o2cb.init status
Driver for "configfs": Loaded
Filesystem "configfs": Mounted
Stack glue driver: Loaded
Stack plugin "o2cb": Loaded
Driver for "ocfs2_dlmfs": Loaded
Filesystem "ocfs2_dlmfs": Mounted
Checking O2CB cluster "ociocfs2": Online
  Heartbeat dead threshold: 31
  Network idle timeout: 30000
  Network keepalive delay: 2000
  Network reconnect delay: 2000
  Heartbeat mode: Local
Checking O2CB heartbeat: Not active
Debug file system at /sys/kernel/debug: mounted

この時点ではボリュームが設定されていないので、O2CB heartbeatはNot Activeとなっています。
ボリュームの設定の前に、再起動の際にOCFSボリュームが自動でマウントできるようにo2cbとocfs2をサービス化します。

$ sudo systemctl enable o2cb
$ sudo systemctl enable ocfs2

カーネルパニック発生時に自動的に再起動するように下記の値を設定します。

$ sudo sysctl kernel.panic=30
$ sudo sysctl kernel.panic_on_oops=1

さらに設定値の永続化ために/etc/sysctl.confに下記を追記します。

# Define panic and panic_on_oops for cluster operation
kernel.panic=30
kernel.panic_on_oops=1

共有ストレージ・ボリュームの作成とマウント

OCFS2ボリュームの作成

どちらか一方のComputeサーバからmkfs.ocfs2コマンドを実行してOCFS2ボリュームを作成します。

$ sudo mkfs.ocfs2 -L "ocfs2" /dev/oracleoci/oraclevdb
mkfs.ocfs2 1.8.6
Cluster stack: classic o2cb
Label: ocfs2
Features: sparse extended-slotmap backup-super unwritten inline-data strict-journal-super xattr indexed-dirs refcount discontig-bg
Block size: 4096 (12 bits)
Cluster size: 4096 (12 bits)
Volume size: 53687091200 (13107200 clusters) (13107200 blocks)
Cluster groups: 407 (tail covers 11264 clusters, rest cover 32256 clusters)
Extent allocator size: 8388608 (2 groups)
Journal size: 268435456
Node slots: 8
Creating bitmaps: done
Initializing superblock: done
Writing system files: done
Writing superblock: done
Writing backup superblock: 3 block(s)
Formatting Journals: done
Growing extent allocator: done
Formatting slot map: done
Formatting quota files: done
Writing lost+found: done
mkfs.ocfs2 successful

OCFS2ボリュームのマウント

両方のComputeサーバにおいてマウントポイントを作成し、作成したOCFS2ボリュームをマウントします。

$ sudo mkdir /ocfs2
$ sudo mount /dev/oracleoci/oraclevdb /ocfs2

アンマウントのコマンドは下記になります。

$ sudo mkdir /ocfs2
$ sudo mount /dev/oracleoci/oraclevdb /ocfs2

OS起動時に自動でmountさせるために、/etc/fstabに下記を追記します。
（ネットワーク・インターフェースを利用できるように**_netdev**を記述することがポイント）

/dev/oracleoci/oraclevdb /ocfs2 ocfs2    _netdev,defaults   0 0

fstab設定後、下記コマンドでマウントすることができます。

$ mount -a

再度、/sbin/o2cb.init statusコマンドを実行し、構成したクラスタのステータスを確認します。

$ sudo /sbin/o2cb.init status
Driver for "configfs": Loaded
Filesystem "configfs": Mounted
Stack glue driver: Loaded
Stack plugin "o2cb": Loaded
Driver for "ocfs2_dlmfs": Loaded
Filesystem "ocfs2_dlmfs": Mounted
Checking O2CB cluster "ociocfs2": Online
  Heartbeat dead threshold: 31
  Network idle timeout: 30000
  Network keepalive delay: 2000
  Network reconnect delay: 2000
  Heartbeat mode: Local
Checking O2CB heartbeat: Active
Debug file system at /sys/kernel/debug: mounted

O2CB heartbeatがActiveとなっていることを確認できました。

最後にOCFS_Node1でファイルを作成しOCFSに保存、OCFS_Node2から参照します。

[opc@ocfs-node1 ~]$ sudo vi /ocfs2/test.txt

[opc@ocfs-node2 ~]$ sudo cat /ocfs2/test.txt
TEST

OCFS_Node2でファイルを編集し、OCFS_Node1から確認します。

[opc@ocfs-node1 ~]$ sudo cat /ocfs2/test.txt
TEST3

どちらのComputeサーバからOCFSボリュームにアクセスしてファイル編集できることが確認できました。

まとめ

本記事では、Oracle Cluster File System (OCFS2) を利用してOCI ブロック・ボリュームを共有ストレージ・ボリュームとして利用できることを確認しました。
OCIで大規模なフォイル共有が必要なシステムでは、マネージドNFSサービスであるFile Storrage Serviceの利用が第一候補となりますが、小規模なシステムで手軽に共有ストレージ・ボリュームを利用したい場合や、より低価格で共有ストレージを利用したい場合にはOCFSを導入して読み書き可能なストレージ・ボリュームとしてブロック・ボリュームを利用することもできそうです。

関連情報

Using the Multiple-Instance Attach Block Volume Feature to Create a Shared File System on Oracle Cloud Infrastructure
A Simple Guide to Oracle Cluster File System (OCFS2) using iSCSI on Oracle Cloud Infrastructure
Oracle Linux 7ファイル・システムの管理　第7章 Oracle Cluster File Systemバージョン2の管理