#サーバー側
インストール
wget -P /etc/yum.repos.dhttp://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/glusterfs-epel.repo
sed -i 's/^enabled=1/enabled=0/g' /etc/yum.repos.d/glusterfs-epel.repo
yum install --enablerepo=glusterfs-epel glusterfs{-fuse,-server}
chkconfig glusterd on
service glusterd start
データー領域(ブリック)の作成
Red Hat Storageの場合、ストレージブリックのファイルシステムはLVM + XFSじゃないとサポートされない。
LVM作成
pvcreate {DEVICE-PATH}
vgcreate {VG-NAME} {DEVICE-PATH}
lvcreate -L 100G -n {LV-NAME} {VG-NAME}
ファイルシステムのフォーマット
xfsかext4どちらか選択
#####xfsフォーマット
yum install xfsprogs
mkfs.xfs -i size=512 {DEVICE-PATH}
mkdir -p {PATH}
vi /etc/fstab
/dev/{VG-NAME}/{LV-NAME} {PATH} xfs defaults 1 2
mount -a
#####ext4フォーマット
mkfs.ext4 -I 512 {DEVICE-PATH}
mkdir -p {PATH}
vi /etc/fstab
/dev/mapper/{VG-NAME}-{LV-NAME} {PATH} ext4 defaults 1 2
mount -a
peer
gluster peer probe {GLUSTERIP|HOST}
gluster peer status
volume
Distributed Volume
- ファイル分散方式でGlusterFSデフォルトの構成
- ファイルはいずれかのサーバーに格納
- サーバーに障害が発生した場合は、そのサーバー内に保存されているファイルだけが参照できない
gluster volume create {VOLNAME} \
{GLUSTERIP|HOST}:{PATH} \
{GLUSTERIP|HOST}:{PATH}
Striped Volume
- RAID 0 方式
- ひとつのファイルをサーバー間で分割(ストライプサイズ：デフォルト128KB)格納
- サーバーに障害が発生した場合は、全てのファイルにアクセスできなくなる
gluster volume create {VOLNAME} \
stripe {COUNT} \
{GLUSTERIP|HOST}:{PATH} \
{GLUSTERIP|HOST}:{PATH}
Replicated Volume
- RAID 1 方式
- ひとつのファイルをサーバー間でミラーリングする
- サーバーに障害が発生した場合は、片方のサーバーからファイルにアクセスできる
gluster volume create {VOLNAME} \
replica {REPLICA_COUNT} \
{GLUSTERIP|HOST}:{PATH} \
{GLUSTERIP|HOST}:{PATH}
起動
gluster volume start {VOLNAME}
確認
gluster volume info
gluster volume status
nfsインストール(nfsマウントする場合のみ)
yum install nfs-utils rpcbind
chkconfig rpcbind on
service rpcbind start
service nfs stop
#クライアント側
インストール
wget -P /etc/yum.repos.dhttp://download.gluster.org/pub/gluster/glusterfs/LATEST/EPEL.repo/glusterfs-epel.repo
sed -i 's/^enabled=1/enabled=0/g' /etc/yum.repos.d/glusterfs-epel.repo
yum install --enablerepo=glusterfs-epel glusterfs-fuse
マウント
mkdir -p {MOUNT_PATH}
glusterfs/nfsどちらか選択
glusterfsによるマウント
mount -t glusterfs {GLUSTERIP|HOST}:/{VOLNAME} {MOUNT_PATH}
nfsによるマウント
OS 標準の nfs でなはくgluster専用の nfs を使うため、nfsは起動してはいけない。
mount -t nfs -o mountproto=tcp,vers=3 {GLUSTERIP|HOST}:/{VOLNAME} /{MOUNT_PATH}
GlusterFS用チューニング
kernel_tuner.sh
#!/bin/sh
#--- memo --
# 参考：https://sites.google.com/site/glusterfstech/install
#--- vm.swappiness [デフォルト:60]
# 0にすると物理メモリを使いきるまでswapしなくなる。
#--- vm.dirty_background_ratio [デフォルト:10]
#メモリに対してdirtyデータが指定の%になるとバックグラウンドでpdflushが動作
#値を小さくすればこまめに掃除をし、メモリが空く可能性がある。
#--- kernel.sched_wakeup_granularity_ns [デフォルト:2000000]
#--- /sys/block/sda/queue/scheduler [デフォルト:cfq]
#------ noop
#------ anticipatory
#------ cfq
# 全てのプロセスに均等にI/Oを割り当てる。
# 多数のプロセスが細かいI/Oを大量に発生させる場合はこれが良い。
#------ deadline
# I/O待ち時間の限界点（deadline）を設けて、
# それが近付いたものを優先的に処理していく。
# 少数のプロセスが大量のI/Oを発生させる環境に適している。
#--- /sys/block/sda/queue/nr_requests [デフォルト:128]
# 数値を増やすことによりより多くのI/O要求を受け付けられるようになるが､
# I/Oﾃﾞﾊﾞｲｽの種類によってはQueueが長過ぎる状態となり､
# 逆にﾊﾟﾌｫｰﾏﾝｽが悪化する場合もある
function set_sysctl(){
local SYSCTL_NAME=$1
local SYSCTL_NEW=$2
SYSCTL_OLD=$(sysctl -n "${SYSCTL_NAME}")
sysctl -w ${SYSCTL_NAME}=${SYSCTL_NEW}
local MESSAGE="${SYSCTL_NAME} ${SYSCTL_OLD} >> ${SYSCTL_NEW}"
logging "${MESSAGE}"
}
function logging(){
local MESSAGGE=$1
echo "${MESSAGE}"
logger -ip local0.info ${MESSAGE}
}
function set_sys(){
local SCHEDULER_NEW="deadline"
local NR_REQUESTS_NEW=256
for IOSCHED_PATH in $(ls -d /sys/block/*/queue/iosched 2>/dev/null); do
if [ -z ${IOSCHED_PATH} ]
then
continue
else
QUEUE_DIR=$(dirname ${IOSCHED_PATH})
SCHEDULER_PATH="${QUEUE_DIR}/scheduler"
NR_REQUESTS_PATH="${QUEUE_DIR}/nr_requests"
if [ -f ${SCHEDULER_PATH} ]
then
SCHEDULER_OLD=$(cat "${SCHEDULER_PATH}")
echo "${SCHEDULER_NEW}" > ${SCHEDULER_PATH}
MESSAGE="${SCHEDULER_PATH} ${SCHEDULER_OLD} >> ${SCHEDULER_NEW}"
logging "${MESSAGE}"
fi
if [ -f ${NR_REQUESTS_PATH} ]
then
NR_REQUESTS_OLD=$(cat ${NR_REQUESTS_PATH})
echo "${NR_REQUESTS_NEW}" > ${NR_REQUESTS_PATH}
MESSAGE="${NR_REQUESTS_PATH} ${NR_REQUESTS_OLD} >> ${NR_REQUESTS_NEW}"
logging "${MESSAGE}"
fi
fi
done
}
set_sysctl "vm.swappiness" "10"
set_sysctl "vm.dirty_background_ratio" "1"
set_sysctl "kernel.sched_wakeup_granularity_ns" "15"
set_sys