はじめに

cephのOSDで使っていたNVMeを再利用するために別のマシンかに装着したら、Resouce Busyで使えないんですけど。。。といった時のメモ

結論

dmsetup remove で削除する。

経緯

別のマシンで、cephのOSDとして使っていたNVMeを再利用するために、別のマシンに入れてみました。
ext4でフォーマットしようと、ブロクデバイスを確認するとこんな感じでした。

# lsblk
 :
 :
nvme0n1                                                                                                                              
├─ceph--8b4f670a--c112--4dcd--88d6--aecd12ae4dd6-osd--block--69119991--567f--453f--b8ae--5283eb1ef0f5
 :
 :

いつもはパーティションの情報などを吹き飛ばしてフォーマットするので dd コマンドを実行しました。

# dd if=/dev/zero of=/dev/nvme0n1 bs=1M count=10 status=progress

さて、どうなったか確認。

# lsblk
 :
 :
nvme0n1                                                                                                                              
├─ceph--8b4f670a--c112--4dcd--88d6--aecd12ae4dd6-osd--block--69119991--567f--453f--b8ae--5283eb1ef0f5
 :
 :

あるぅぇ？

後ろから10M消してもよかったのかもしれないです。

dd if=/dev/zero of=/dev/nvme0n1 bs=512 seek=$(( $(blockdev --getsz /dev/nvme0n1) - 10240 )) count=10240

# umount /dev/nvme0n1
Device or resource busy
# wipefs --all /dev/nvme0n1
# dd if=/dev/zero of=/dev/nvme0n1 bs=1M count=10 status=progress
# blkdiscard /dev/nvme0n1
Device or resource busy

wipefs、blkdiscard、dd でも消せない。。。

# lsblk
 :
 :
nvme0n1                                                                                                                              
├─ceph--8b4f670a--c112--4dcd--88d6--aecd12ae4dd6-osd--block--69119991--567f--453f--b8ae--5283eb1ef0f5
 :
 :

なにかつかんでいるのかな？

# lsof | grep /dev/nvme0n1
# fuser -v /dev/nvme0n1

ないなぁ。。。

なので、デバイスマップをいじることに

# dmsetup ls
ceph--8b4f670a--c112--4dcd--88d6--aecd12ae4dd6-osd--block--69119991--567f--453f--b8ae--5283eb1ef0f5     (252:2)
pve-data        (252:5)
pve-data_tdata  (252:4)
pve-data_tmeta  (252:3)
pve-root        (252:1)
pve-swap        (252:0)

dmsetup ls の結果から、nvme0n1 に関連するデバイスマッパー（LVM）として存在しており、これが busy の原因と予想。

# dmsetup remove ceph--8b4f670a--c112--4dcd--88d6--aecd12ae4dd6-osd--block--69119991--567f--453f--b8ae--5283eb1ef0f5
# dmsetup ls
pve-data        (252:5)
pve-data_tdata  (252:4)
pve-data_tmeta  (252:3)
pve-root        (252:1)
pve-swap        (252:0)

消えたので、いつもどおりに

# dd if=/dev/zero of=/dev/nvme0n1 bs=1M count=10 status=progress
# makefs.ext4 /dev/nvmee0n1

その他

dmsetup コマンドとは

dmsetup は、Linux カーネルの機能である Device Mapper を操作・管理するためのコマンドラインツール。
Device Mapper は、物理ストレージデバイスを抽象化して柔軟なブロックデバイスを作成・管理するためのレイヤ。
LVM (Logical Volume Manager) や暗号化ディスク (dm-crypt) などの基盤として広く利用されている。

Device Mapper の管理・操作

dmsetup は、Device Mapper が扱う “マッピングテーブル” の確認や編集、新規デバイスの作成・削除などを行うためのコマンド。
必要に応じてカーネルの Device Mapper に情報を登録・更新し、仮想デバイスを制御する。

よく使うサブコマンド・オプション

dmsetup ls

登録されているデバイス (マッパーデバイス) の一覧を表示する。LVM で作成された論理ボリュームなどが表示される。

dmsetup info

指定したデバイス (例: /dev/mapper/...) の詳細情報を表示する。

dmsetup table

指定したデバイスのマッピングテーブルを表示する。どの物理デバイスとどのように紐づいているのか確認できる。

dmsetup create / remove

新規の Device Mapper デバイスの作成や、不要になったデバイスの削除を行う。create の場合はマッピングテーブルを引数などで与える必要がある。

dmsetup reload

既存のデバイスに対してマッピングテーブルを再読み込みさせ、再設定を反映させることができる。

Device Mapper とは

抽象化レイヤ

Device Mapper は、物理デバイス (例: /dev/sda, /dev/nvme0n1) を論理的にまとめたり分割したりし、仮想的なブロックデバイスを作成するための抽象化レイヤ。

様々な機能への応用

LVM (Volume Group や Logical Volume の作成・管理)、RAID、スナップショット、暗号化 (dm-crypt、LUKS)、Thin Provisioning (薄合せ) など、多くのストレージ機能が Device Mapper の上に構築されている。

テーブルによる管理

Device Mapper はテーブル (mapping table) という概念を用い、物理デバイスと論理デバイスとの対応関係を定義する。どのようにマッピングするかの情報をカーネルに設定することで、様々なバリエーションの仮想デバイスを作成できる。

さいごに

かんたんでしたね