LoginSignup
3
3

More than 5 years have passed since last update.

zfsをnfsでfile server/media serverにする(までの道のり)

Last updated at Posted at 2017-01-31

motivation

macosxの起動ディスク外付けHDDの容量がいっぱいになってきたので
省電力のファイルサーバ/メディアサーバを立てたい.

HDDは壊れるので冗長化したい.
freebsd好き by rhel6の奴隷

構成

別エントリを書く.
client : macosx
server : freenas
HDD3TB x 3
raidz

freenasはデフォルトでweb interfaceから操作する
参考URL
collectdとかも走っているのでかっこいい.
jailとか...

tips

zfsのdatasetってなにもの??

経過

recomendされたlz4圧縮でvolumeを構成.
2MBps->3MBpsぐらいしかDisk書き込みが出来なくて泣く.

routerはwimax端末
serverのNicでは20MBpsぐらいでてる.
server内で誰かが握りつぶしてる??!

lz4圧縮が悪さをしている(普通は世間の記事によれば数10MBpsぐらいっぽい)という予測(希望)のもと
圧縮なしにする.

変わらず.

nfs serverでddコマンドでdiskのwrite

200MBpsぐらい出る.

nfsがわるいんじゃね.
zfsはなにかnfsを普通と違う感じでさわるっぽい??!

200MBpsでなく、20Mbpsであることに気づく

ネットワークネックな可能性

ルータ(WiMax端末)かめっちゃ古いethケーブルか切り分けるために無線lanをインストールしようとする

freenasはrootでさえ、pkgをインストール出来ないことに気づく、クソOS
serviceはjailから追加提供が可能

FreeBSD11インストーラ(LiveCDにもなってる!)から
BSDをSDcard16GBにインストール
FreeBSDらしくないことに無線LANがはじめから認識される!

調子乗ってkde4をいれたらdiskfullに近い状態に
このせいか分からないがkde4notify的なプロセスが常に1core食いつぶす

つかえないのでPC-BSD謹製のluminaをインストール.
vncserverからだと相性が悪いのか立ち上がらなかったり
menubarが出てこなかったり

仕方ないのでlxdeをインストール.
そこそこ安定して動くようになる.

freenasでつくったzfsをマウントさせる

前述の速度低下はほぼほぼWiMax端末をrouterにしているせいだとわかったので
昔の外付けHDD500GB(壊れすぎているのか容量が250MB程度まで縮小してる)の中身を低速で移行してくる.

  ddコマンドでシーケンシャルread/writeをしていたときのlog

するどい人ならメモリ量がわかってしまいそう.


% sudo mount_nfs -P 192.168.100.108:/mnt/magi /Volumes/magi
Password:
% ssh root@192.168.100.108
root@192.168.100.108's password:
Last login: Wed Feb  1 00:51:54 2017 from 192.168.100.98
FreeBSD 10.3-STABLE (FreeNAS.amd64) #0 r295946+1805185(9.10.2-STABLE): Wed Jan 11 17:12:42 UTC 2017

    FreeNAS (c) 2009-2016, The FreeNAS Development Team
    All rights reserved.
    FreeNAS is released under the modified BSD license.

    For more information, documentation, help or support, go here:
    http://freenas.org
Welcome to FreeNAS
[root@freenas] ~# top
last pid: 89902;  load averages:  0.30,  0.25,  0.24                                                                                  up 2+02:17:53  01:17:49
44 processes:  1 running, 43 sleeping
CPU:  0.0% user,  0.0% nice,  0.9% system,  1.1% interrupt, 97.9% idle
Mem: 1148K Active, 547M Inact, 14G Wired, 181M Free
ARC: 1339M Total, 12M MFU, 1306M MRU, 3142K Anon, 4228K Header, 13M Other
Swap: 6144M Total, 6144M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
88769 root         16  20    0 14476K  2268K rpcsvc  3   0:42   3.32% nfsd
86808 root          1  20    0 20704K  4048K rpcsvc  3   0:05   0.20% rpc.lockd
 2386 root          6  20    0   409M   187M select  3   4:56   0.00% python2.7
 2363 root          1  52    0   237M 64984K select  2   3:15   0.00% python2.7
 1380 root          1 -52   r0  6304K  2272K nanslp  2   0:26   0.00% watchdogd
47448 root          2  20    0 30264K 18124K select  1   0:15   0.00% ntpd
  201 root          2  20    0   338M 88672K kqread  1   0:13   0.00% python2.7
82662 root         12  20    0   227M 18036K nanslp  2   0:13   0.00% collectd
 2313 www           1  20    0 34272K  2004K kqread  0   0:05   0.00% nginx
 3026 root          1  52    0   181M 52348K ttyin   3   0:02   0.00% python2.7
 2137 root          1  32   10 17064K  1192K wait    3   0:01   0.00% sh
89549 root          1  20    0 26068K  3124K CPU0    0   0:01   0.00% top
 2973 root          1  20    0 20740K  1224K nanslp  3   0:01   0.00% cron
82761 root          1  20    0 68936K  7400K kqread  0   0:01   0.00% syslog-ng
 1019 root          2  20    0 14048K  5340K select  0   0:01   0.00% devd
 2963 root          1  20    0 51716K  3888K select  1   0:00   0.00% zfsd
88525 root          5  42    0   102M 13572K usem    0   0:00   0.00% python2.7
83095 root          1  20    0 30732K  4204K nanslp  2   0:00   0.00% smartd
89545 root          1  20    0 88408K  7168K select  3   0:00   0.00% sshd
89547 root          1  21    0 27716K  3628K pause   0   0:00   0.00% csh
82900 nobody        1  20    0 17036K  2688K select  1   0:00   0.00% mdnsd
88768 root          1  20    0 22720K  4044K select  0   0:00   0.00% nfsd
86702 root          1  20    0 20728K  2300K select  0   0:00   0.00% rpcbind
86732 root          1  20    0 16868K  2176K sbwait  2   0:00   0.00% nfsuserd
86733 root          1  20    0 16868K  2176K select  3   0:00   0.00% nfsuserd
86734 root          1   4    0 16868K  2176K select  0   0:00   0.00% nfsuserd
86731 root          1  20    0 16868K  2176K sbwait  1   0:00   0.00% nfsuserd
86750 root          1  20    0 22744K  4200K select  1   0:00   0.00% mountd
86792 root          1  20    0   280M  4196K select  3   0:00   0.00% rpc.statd
 2464 root          1  20    0 14460K   468K sigwai  3   0:00   0.00% daemon
88466 root          1  20    0 61028K  6740K select  1   0:00   0.00% sshd
 3030 root          1  52    0 14488K  2024K ttyin   3   0:00   0.00% getty
 3027 root          1  52    0 14488K  2024K ttyin   2   0:00   0.00% getty
 3032 root          1  52    0 14488K  2024K ttyin   3   0:00   0.00% getty
[root@freenas] ~# dd if=/dev/zero of=/Volumes/magi/zero count=5 bs=10000000
dd: /Volumes/magi/zero: No such file or directory
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=5 bs=10000000
5+0 records in
5+0 records out
50000000 bytes transferred in 0.056087 secs (891471906 bytes/sec)
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=5 bs=10000000
5+0 records in
5+0 records out
50000000 bytes transferred in 0.054571 secs (916239018 bytes/sec)
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=500 bs=10000000
500+0 records in
500+0 records out
5000000000 bytes transferred in 16.905279 secs (295765598 bytes/sec)
[root@freenas] ~# dd if=/dev/zero of=/mnt/magi/zero count=5000 bs=10000000
5000+0 records in
5000+0 records out
50000000000 bytes transferred in 249.507943 secs (200394422 bytes/sec)
[root@freenas] ~# ll /m
media/ mnt/
[root@freenas] ~# ll /mnt/magi/zero
-rw-r--r--  1 501  wheel  50000000000 Feb  1 01:26 /mnt/magi/zero
[root@freenas] ~# ll /mnt/magi/zero
-rw-r--r--  1 501  wheel  50000000000 Feb  1 01:26 /mnt/magi/zero
[root@freenas] ~# zpool list
NAME           SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
freenas-boot  7.25G   651M  6.61G         -      -     8%  1.00x  ONLINE  -
magi          8.12T  72.1G  8.05T         -     0%     0%  1.00x  ONLINE  /mnt
[root@freenas] ~# zfs list
NAME                                                    USED  AVAIL  REFER  MOUNTPOINT
freenas-boot                                            650M  6.39G    64K  none
freenas-boot/ROOT                                       643M  6.39G    29K  none
freenas-boot/ROOT/Initial-Install                       247K  6.39G   635M  legacy
freenas-boot/ROOT/default                               643M  6.39G   640M  legacy
freenas-boot/grub                                      6.50M  6.39G  6.50M  legacy
magi                                                   48.0G  5.20T  48.0G  /mnt/magi
magi/.system                                            858K  5.20T   128K  legacy
magi/.system/configs-ea02119b0df4495ba64ec1dbdd61ed06   117K  5.20T   117K  legacy
magi/.system/syslog-ea02119b0df4495ba64ec1dbdd61ed06    613K  5.20T   613K  legacy
[root@freenas] ~#

3
3
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
3
3