背景

ファイバーチャネルに関しての知識が全く無かったので、自宅に環境を作ってみることにした。ディスクアレイを置くのは騒音や廃棄の面で不安があったので、PCを組んでターゲットとする。全くの素人が手探りでやったことではあるが、備忘録を兼ねて記録を残す。

目標

新しく構築したPCをストレージとして、FC経由でProxmoxから見えるようにストレージを構築する。

構成

ターゲットノード

自作PC(Ubuntu 24.04.2)
- CPU:Ryzen 2400G
- メモリ:DDR4 16GB
- SSD:250GB
- HDD:4TB ★これをProxmox側で見えるようにする
- HBA:QLE2460

イニシエータノード

ワークステーション(Proxmox 8.2.2)
- CPU:i7-7700
- メモリ:32GB
- SSD:250GB
- HBA:ISP2532

ケーブル

OM3 LC-LC

作業

以降基本的にはターゲット側での操作

HBAのドライバの設定

qla2xxxはデフォルトでイニシィエータモードで動作するので、ターゲットモードに変更する。
vi /etc/modprobe.d/qla2xxx.confでファイルを新規作成して、以下を追記。

# options qla2xxx qlini_mode="disabled"

initramfsの更新をして再起動

# update-initramfs -u
# reboot

パーティションの作成

ディスクの確認

# fdisk -l
Disk /dev/sda: 238.47 GiB, 256060514304 bytes, 500118192 sectors
Disk model: Fanxiang S101Q 2
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: 0865405D-9CFD-423C-BC64-**********

Device       Start       End   Sectors   Size Type
/dev/sda1     2048   2203647   2201600     1G EFI System
/dev/sda2  2203648   6397951   4194304     2G Linux filesystem
/dev/sda3  6397952 500115455 493717504 235.4G Linux filesystem


Disk /dev/sdb: 3.64 TiB, 4000787030016 bytes, 7814037168 sectors   ★新しく追加したHDD
Disk model: WDC WD40EZAX-00C
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/mapper/ubuntu--vg-ubuntu--lv: 100 GiB, 107374182400 bytes, 209715200 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

/dev/sdbとして4TBのディスクを認識している。

LVM ボリュームの作成

今回はfdiskを使用したが、partedのほうが現代的らしい。fdiskはGPT(GUIDパーティションテーブル)に対応していないので、2TB以上のディスクを使用する場合、2TB以上のパーティションが作れないと警告が出る。

# fdisk /dev/sdb

Welcome to fdisk (util-linux 2.39.3).
Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table.
The size of this disk is 3.6 TiB (4000787030016 bytes). 
DOS partition table format cannot be used on drives for volumes larger than 2199023255040 bytes for 512-byte sectors. Use GUID partition table format (GPT).
★↑が先述した警告。

Created a new DOS (MBR) disklabel with disk identifier 0x11e5bc1f.

Command (m for help): m   ★ヘルプの表示

Help:

  DOS (MBR)
   a   toggle a bootable flag
   b   edit nested BSD disklabel
   c   toggle the dos compatibility flag

  Generic
   d   delete a partition
   F   list free unpartitioned space
   l   list known partition types
   n   add a new partition
   p   print the partition table
   t   change a partition type
   v   verify the partition table
   i   print information about a partition

  Misc
   m   print this menu
   u   change display/entry units
   x   extra functionality (experts only)

  Script
   I   load disk layout from sfdisk script file
   O   dump disk layout to sfdisk script file

  Save & Exit
   w   write table to disk and exit
   q   quit without saving changes

  Create a new label
   g   create a new empty GPT partition table
   G   create a new empty SGI (IRIX) partition table
   o   create a new empty MBR (DOS) partition table
   s   create a new empty Sun partition table


Command (m for help): n   ★パーティションの追加
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): p   ★primaryパーティション
Partition number (1-4, default 1): 1   ★1つ目なので1でよさそう
First sector (2048-4294967295, default 2048): 
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-4294967295, default 4294967295): +1000G   ★今回は1000Gのパーティションを作成

Created a new partition 1 of type 'Linux' and of size 1000 GiB.

Command (m for help): t   ★パーティションタイプの変更
Selected partition 1
Hex code or alias (type L to list all): L   ★選択肢の表示

00 Empty            27 Hidden NTFS Win  82 Linux swap / So  c1 DRDOS/sec (FAT-
01 FAT12            39 Plan 9           83 Linux            c4 DRDOS/sec (FAT-
02 XENIX root       3c PartitionMagic   84 OS/2 hidden or   c6 DRDOS/sec (FAT-
03 XENIX usr        40 Venix 80286      85 Linux extended   c7 Syrinx         
04 FAT16 <32M       41 PPC PReP Boot    86 NTFS volume set  da Non-FS data    
05 Extended         42 SFS              87 NTFS volume set  db CP/M / CTOS / .
06 FAT16            4d QNX4.x           88 Linux plaintext  de Dell Utility   
07 HPFS/NTFS/exFAT  4e QNX4.x 2nd part  8e Linux LVM        df BootIt         
08 AIX              4f QNX4.x 3rd part  93 Amoeba           e1 DOS access     
09 AIX bootable     50 OnTrack DM       94 Amoeba BBT       e3 DOS R/O        
0a OS/2 Boot Manag  51 OnTrack DM6 Aux  9f BSD/OS           e4 SpeedStor      
0b W95 FAT32        52 CP/M             a0 IBM Thinkpad hi  ea Linux extended 
0c W95 FAT32 (LBA)  53 OnTrack DM6 Aux  a5 FreeBSD          eb BeOS fs        
0e W95 FAT16 (LBA)  54 OnTrackDM6       a6 OpenBSD          ee GPT            
0f W95 Ext'd (LBA)  55 EZ-Drive         a7 NeXTSTEP         ef EFI (FAT-12/16/
10 OPUS             56 Golden Bow       a8 Darwin UFS       f0 Linux/PA-RISC b
11 Hidden FAT12     5c Priam Edisk      a9 NetBSD           f1 SpeedStor      
12 Compaq diagnost  61 SpeedStor        ab Darwin boot      f4 SpeedStor      
14 Hidden FAT16 <3  63 GNU HURD or Sys  af HFS / HFS+       f2 DOS secondary  
16 Hidden FAT16     64 Novell Netware   b7 BSDI fs          f8 EBBR protective
17 Hidden HPFS/NTF  65 Novell Netware   b8 BSDI swap        fb VMware VMFS    
18 AST SmartSleep   70 DiskSecure Mult  bb Boot Wizard hid  fc VMware VMKCORE 
1b Hidden W95 FAT3  75 PC/IX            bc Acronis FAT32 L  fd Linux raid auto
1c Hidden W95 FAT3  80 Old Minix        be Solaris boot     fe LANstep        
1e Hidden W95 FAT1  81 Minix / old Lin  bf Solaris          ff BBT            
24 NEC DOS        

Aliases:
   linux          - 83
   swap           - 82
   extended       - 05
   uefi           - EF
   raid           - FD
   lvm            - 8E
   linuxex        - 85
Hex code or alias (type L to list all): 8e   ★LVMにしたいので
Changed type of partition 'Linux' to 'Linux LVM'.

Command (m for help): w   ★保存
The partition table has been altered.
Calling ioctl() to re-read partition table.
Syncing disks.

パーティションが作成できたことを確認

# fdisk -l
Disk /dev/sdb: 3.64 TiB, 4000787030016 bytes, 7814037168 sectors
Disk model: WDC WD40EZAX-00C
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0x11e*****

Device     Boot Start        End    Sectors  Size Id Type
/dev/sdb1        2048 2097154047 2097152000 1000G 8e Linux LVM   ★作成したパーティション


Disk /dev/mapper/ubuntu--vg-ubuntu--lv: 100 GiB, 107374182400 bytes, 209715200 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes

物理ボリュームの作成

先ほど作成したパーティション、sdb1に物理ボリュームを作成。

# pvcreate /dev/sdb1   ★物理ボリュームの作成
  Physical volume "/dev/sdb1" successfully created.
# pvdisplay   ★確認
  "/dev/sdb1" is a new physical volume of "1000.00 GiB"   ★作成した物理ボリューム
  --- NEW Physical volume ---
  PV Name               /dev/sdb1
  VG Name               
  PV Size               1000.00 GiB
  Allocatable           NO
  PE Size               0   
  Total PE              0
  Free PE               0
  Allocated PE          0
  PV UUID               mZJVRF-ZtD0-Bk9l-rcJV-LX3g-b3ca-*****

ボリュームグループの作成

lvg-shareという名前でボリュームグループを作成。

# vgcreate lvg-share /dev/sdb1   ★ボリュームグループの作成
  Volume group "lvg-share" successfully created
# vgdisplay   ★確認
  --- Volume group ---
  VG Name               lvg-share   ★作成したボリュームグループ
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  1
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <1000.00 GiB
  PE Size               4.00 MiB
  Total PE              255999
  Alloc PE / Size       0 / 0   
  Free  PE / Size       255999 / <1000.00 GiB
  VG UUID               pLaazO-2R0g-l7Rf-kFyG-S2W6-EG2G-******

vgscanコマンドでも確認可能

# vgscan
  Found volume group "lvg-share" using metadata type lvm2   ★作成したボリュームグループ
  Found volume group "ubuntu-vg" using metadata type lvm2

論理ボリュームの作成

今回は名前をproxmox、サイズを500GBで作成。

# lvcreate --name proxmox --size 500GB lvg-share   ★論理ボリュームの作成。
  Logical volume "proxmox" created.
# lvdisplay   ★確認
  --- Logical volume ---
  LV Path                /dev/lvg-share/proxmox   ★作成した論理ボリューム
  LV Name                proxmox
  VG Name                lvg-share
  LV UUID                UxbmCi-V7jG-GkNy-KJXE-n3Lx-iMEs-*****
  LV Write Access        read/write
  LV Creation host, time Storage, 2025-03-11 12:51:34 +0000
  LV Status              available
  # open                 0
  LV Size                500.00 GiB
  Current LE             128000
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           252:1

ファイルシステムの作成

今回はLinuxで一般的に使用されている、ext4を使用。

# mkfs.ext4 /dev/lvg-share/proxmox   ★ext4ファイルシステムを作成
mke2fs 1.47.0 (5-Feb-2023)
Creating filesystem with 131072000 4k blocks and 32768000 inodes
Filesystem UUID: bdc4bbb2-a5d6-49e0-afe3-**********
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
        102400000

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (262144 blocks): done
Writing superblocks and filesystem accounting information: done     
#

LIO(LinuxIO)の設定

/dev/mapper/以下に先ほど作成したボリュームグループと論理グループ名がついたリンクが作成されている。

# ls /dev/mapper/
control  lvg--share-proxmox ★これ  ubuntu--vg-ubuntu--lv

targetcliのインストール

iSCSI管理ツールであるtargetcliをインストールする。

# apt install targetcli-fb -y

backstoreの登録

先ほど確認した/dev/mapper/以下のリンクを参考に以下のコマンドを入力
targetcli /backstores/block create name=[登録名] dev=/dev/mapper/[リンク名]

# targetcli /backstores/block create name=proxmox dev=/dev/mapper/lvg--share-proxmox
Created block storage object proxmox using /dev/mapper/lvg--share-proxmox.

確認する。

# sudo targetcli ls /backstores
o- backstores ................................................................................................................ [...]
  o- block .................................................................................................... [Storage Objects: 1]
  | o- proxmox★................................................. [/dev/mapper/lvg--share-proxmox (500.0GiB) write-thru deactivated]
  |   o- alua ..................................................................................................... [ALUA Groups: 1]
  |     o- default_tg_pt_gp ......................................................................... [ALUA state: Active/optimized]
  o- fileio ................................................................................................... [Storage Objects: 0]
  o- pscsi .................................................................................................... [Storage Objects: 0]
  o- ramdisk .................................................................................................. [Storage Objects: 0]
#

星印の場所に作成されていることが確認できた。

FCターゲットとしてWWNを設定

使用しているHBAのWWNを確認する。

# targetcli /qla2xxx info
Fabric module name: qla2xxx
ConfigFS path: /sys/kernel/config/target/qla2xxx
Allowed WWN types: naa
Allowed WWNs list: naa.21000024ff0*****   ★これがWWN
Fabric module features: acls
Corresponding kernel module: tcm_qla2xxx
#

qla2xxxにFCターゲットを作成

# targetcli /qla2xxx create naa.21000024ff*****
targetcli /qla2xxx create naa.21000024ff0*****
Created target naa.21000024ff0*****.

# targetcli /qla2xxx ls   ★確認
o- qla2xxx ............................................................................................................ [Targets: 1]
  o- naa.21000024ff***** ............................................................................................... [gen-acls]
    o- acls .............................................................................................................. [ACLs: 0]
    o- luns .............................................................................................................. [LUNs: 0]
#

LUNを作成

# targetcli /qla2xxx/naa.21000024f*****/luns create /backstores/block/proxmox
Created LUN 0.
#

イニシエータのWWNを確認

Proxmox側のノードに移動して、こちらでもtargetcliのインストールをする。

# apt install targetcli-fb

# targetcli /qla2xxx info   ★WWNを確認
Warning: Could not load preferences file /root/.targetcli/prefs.bin.
Fabric module name: qla2xxx
ConfigFS path: /sys/kernel/config/target/qla2xxx
Allowed WWN types: naa
Allowed WWNs list: naa.2101001b3*******, naa.2100001b3*******   ★イニシエータとなるWWN
Fabric module features: acls
Corresponding kernel module: tcm_qla2xxx
#

今回使用したisp2532は2ポートあるのでWWNは2つ確認できる。
どちらも同じアドレスだったので、ケーブルの刺さっているポートかどうか等は
気にしなくても良さそう。

ターゲット側でイニシエータの登録

アクセスリストにイニシエータを登録する。

# targetcli /qla2xxx/naa.21000024f******/acls create 2101001b32******
Created Node ACL for naa.2101001b3******
Created mapped LUN 0.
# targetcli / saveconfig   ★設定の保存
Last 10 configs saved in /etc/rtslib-fb-target/backup/.
Configuration saved to /etc/rtslib-fb-target/saveconfig.json
#

ターゲットサービスの再起動

# systemctl restart target
# systemctl status target

ターゲット側の設定の確認

# targetcli ls
o- / ......................................................................................................................... [...]
  o- backstores .............................................................................................................. [...]
  | o- block .................................................................................................. [Storage Objects: 1]
  | | o- proxmox .................................................. [/dev/mapper/lvg--share-proxmox (500.0GiB) write-thru activated]
  | |   o- alua ................................................................................................... [ALUA Groups: 1]
  | |     o- default_tg_pt_gp ....................................................................... [ALUA state: Active/optimized]
  | o- fileio ................................................................................................. [Storage Objects: 0]
  | o- pscsi .................................................................................................. [Storage Objects: 0]
  | o- ramdisk ................................................................................................ [Storage Objects: 0]
  o- iscsi ............................................................................................................ [Targets: 0]
  o- loopback ......................................................................................................... [Targets: 0]
  o- qla2xxx .......................................................................................................... [Targets: 1]
  | o- naa.21000024ff****** ............................................................................................. [gen-acls]
  |   o- acls ............................................................................................................ [ACLs: 1]
  |   | o- naa.2101001b3******* ................................................................................... [Mapped LUNs: 1]
  |   |   o- mapped_lun0 ................................................................................. [lun0 block/proxmox (rw)]
  |   o- luns ............................................................................................................ [LUNs: 1]
  |     o- lun0 ................................................ [block/proxmox (/dev/mapper/lvg--share-proxmox) (default_tg_pt_gp)]
  o- vhost ............................................................................................................ [Targets: 0]
#

イニシエータ側の確認

ファイバーケーブルを刺して、
先ほど設定した領域がちゃんと見えているかどうかを確認。

# lsblk
NAME                                      MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda                                         8:0    0 238.5G  0 disk 
├─sda1                                      8:1    0  1007K  0 part 
├─sda2                                      8:2    0     1G  0 part /boot/efi
└─sda3                                      8:3    0 237.5G  0 part 
  ├─pve-swap                              252:0    0     8G  0 lvm  [SWAP]
  ├─pve-root                              252:1    0  69.4G  0 lvm  /
  ├─pve-data_tmeta                        252:2    0   1.4G  0 lvm  
  │ └─pve-data-tpool                      252:4    0 141.2G  0 lvm  
  │   ├─pve-data                          252:5    0 141.2G  1 lvm  
**************************省略********************************
  │   └─pve-vm--112--disk--0              252:41   0    10G  0 lvm  
  └─pve-data_tdata                        252:3    0 141.2G  0 lvm  
    └─pve-data-tpool                      252:4    0 141.2G  0 lvm  
      ├─pve-data                          252:5    0 141.2G  1 lvm  

**************************省略********************************

sdb★                                       8:16   0   500G  0 disk 
sr0                                        11:0    1  1024M  0 rom  
#

ポートの確認。

# cat /sys/class/fc_host/host?
cat: /sys/class/fc_host/host4: Is a directory 
cat: /sys/class/fc_host/host5: Is a directory
#

# cat /sys/class/fc_host/host4/port_name 
0x2100001b3******
# cat /sys/class/fc_host/host5/port_name 
0x2101001b3******

# cat /sys/class/fc_host/host5/port_state
Online
# cat /sys/class/fc_host/host4/port_state
Linkdown
#

host4と5として認識しているらしい。
WWNとリンク状態も確認できた。

LVMの設定

以下はクラスターとかHA構成なら必要な設定かも。とりあえずやる。

# vi /etc/lvm/lvm.conf ★コメント解除と0を1に変更
-       # use_lvmlockd = 0
+       use_lvmlockd = 1
# vi /etc/lvm/lvmlocal.conf ★コメント解除と0を任意のID番号に変更
-       # host_id = 0
+       host_id = 1
# systemctl start lvmlockd
# vi lvmlockd.hostid
# systemctl restart lvmlockd
# systemctl status lvmlockd

ボリュームの作成

ターゲット側で公開した領域上に物理ボリュームとボリュームグループを作成する。

# vgcreate --shared fc_vg /dev/sdb   ★fc_vgという名前で作成
  Enabling sanlock global lock
  Logical volume "lvmlock" created.
  Volume group "fc_vg" successfully created
  VG fc_vg starting sanlock lockspace
  Starting locking.  Waiting until locks are ready...
# vgdisplay   ★確認
  --- Volume group ---
  VG Name               fc_vg
  System ID             
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  3
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                0
  Open LV               0
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               <500.00 GiB   ★ちゃんと500GB見えている
  PE Size               4.00 MiB
  Total PE              127999
  Alloc PE / Size       256 / 1.00 GiB
  Free  PE / Size       127743 / <499.00 GiB
  VG UUID               6UPN2V-BT2J-FN2x-cuh2-3io2-GHMN-*****
#

これもクラスターとかHA構成なら必要な設定かも。とりあえずやる。

vgchange --lock-start fc_vg
  Starting locking.  Waiting for sanlock may take 20 sec to 3 min...
# vgs -o +lock_type
  VG    #PV #LV #SN Attr   VSize    VFree    LockType
  fc_vg   1   0   0 wz--ns <500.00g <499.00g sanlock ★sanlockになっていればOK
  pve     1 105   0 wz--n-  237.47g   16.00g         
#

ProxmoxのGUIでの操作

左上のデータセンター>ストレージ>追加

LVM>IDを入力>ボリュームグループでfc_vg(先ほど作成したボリュームグループ)を選択>共有済みにチェック

追加を押すと新たなディスクが作成されている。(fc_lvmは以前作成したものなので、IDがtestになっていません)

ストレージ領域が増えていることが確認できた。

まとめ

まず、ストレージとして外部に公開するための領域を切り出した。
流れとしては
1.パーティションの作成
2.物理ボリュームの作成
3.ボリュームグループの作成
4. 論理ボリュームの作成
5. ファイルシステムの作成

続いて、FCのターゲットとイニシエータの設定を行った。
6. backstoreに論理ボリュームをアタッチ
7. FCターゲットを作成
8. LUNを作成
9. イニシエータを登録

以降はイニシエータ側で設定。
10. イニシエータ側で物理ボリュームを作成
11. ボリュームグループの作成
12. GUIからLVMを作成

感想

意外とあっさり完成したので拍子抜けした部分もあったが、今までFCを触ったことがなかったので勉強になった。
ファイルシステムやディスク関連の知識が足りていないのでもう少し勉強したい。

参考

https://qiita.com/TsutomuNakamura/items/93c6333c8dd32aeb197a
https://qiita.com/flathill/items/89287b61f13eaa94ea15
https://waura.github.io/zi-zhai-sanstorage-area-networknogou-zhu.html
https://qiita.com/flathill/items/ddd67a358a4e510829c4
https://ameblo.jp/l-yotarou/entry-12799752138.html
https://gist.github.com/261shimizu/c5ab9cd712ef15d7a6223253e0eaed8a