夢のサーバー構築
去年4月、当サークルないのネットワークを破壊し、新たにサークル内ネットワークおよびサーバーを構築するという案が上がりました。それを長い間チャレンジして失敗してを繰り返してきたわけですが、ついにほぼ完成しました。ほぼ３人で構築したこのインフラを一部紹介したいと思います。
ネットワークに関してですが、これが正解なのかは知りません
前の構成
マシン一覧
以前（私が入会した際）のサーバー状態は以下の状態でした。
| マシン名称 | OS | 機能 | 状態 |
|---|---|---|---|
| HITACHI HA8000/RS110 BL | ？ | ？ | 停止 |
| FUJISTU RX200 S6① | oVirt OS | ウェブ公開・カメラサーバー | 稼働 |
| FUJISTU RX200 S5 | Cento OS | 元DNSサーバー | 故障 |
| FUJISTU RX200 S6② | ？ | ？ | 故障 |
| FUJISTU RX200 S6③ | oVirt OS | ？ | 稼働 |
| FUJISTU TX120 S3 | ？ | DNSサーバー | 稼働 |
| NEC Express 5800/GT110a | ? | データベース | 稼働 |
見ればわかる通り、絶望的な状態でした。話によると、DNSサーバーが大学の計画停電時に停止させた際、何かしらの理由で崩壊。DNSが崩壊したことによりoVirt OSの設定が崩壊。ドキュメントがあまり残っておらず、まともに修復することができず、困っていました。
ネットワーク
私自身もよくわからない状態でした。とりあえず二重ルーター状態でした。VLANはこのような状態になっていました。
| VLAN | 名称 | 機能 |
|---|---|---|
| VLAN10 | InternalNetwork | サークル内のWi-Fiなど |
| VLAN20 | DBNetwork | データベース用ネットワーク |
| VLAN30 | SurveillanceNetwork | サーバー監視用 |
| VLAN40 | DMZNetwork | DNS、oVirt OSなど |
マシンの修理
修理記録はこちらをご覧ください。
https://qiita.com/stLuciano/items/146d7805446cbb961583
全マシンの再構築のためにバックアップをすべてとりました。最悪、元に戻せます。
現在の構成
マシン一覧
データーベースサーバーとして使用されていた「NEC Express 5800/GT110a」は、非常に古くスペックも低いため破棄。先輩の不要になったサーバーをいただき、それを使用することにしました。
| マシン名称 | OS | 機能 | 状態 |
|---|---|---|---|
| HITACHI HA8000/RS110 BL | openmediavault | NAS | 稼働 |
| FUJISTU RX200 S6① | oVirt OS | 元ウェブ公開・カメラサーバー | 停止 |
| FUJISTU RX200 S5 | Proxmox BS | VM/CTバックアップ | 稼働 |
| FUJISTU RX200 S6② | Proxmox VE | ネットワーク・サークル管理 | 稼働 |
| FUJISTU RX200 S6③ | Proxmox VE | 外部公開用 | 稼働 |
| FUJISTU TX120 S3 | Ubuntu 22.04 | セキュリティサーバー | 稼働 |
| NEC Express 5800/GT110a | - | - | 破棄 |
| DELL PowerEdge T410 | Proxmox VE | 自由使用 | 稼働 |
HITACHI HA8000/RS110 BL
唯一、3.5インチHDDが入るマシンで、ほかのマシンは全て2.5インチです。NASなら3.5インチHDDが必要です。この中に過去問などサークルのデータなどを入れておきます。容量は4TB。しかし、NASなのにHDDがSEAGATE BarraCudaなので心配です。NAS用HDDを買うお金がありません・・・。一応、ソフトウェアRAIDを組んでいますが、早めに取り替えておきたいです。
FUJISTU RX200 S6①
こいつは前のメインサーバーなので一応残しておくだけです。一番スペックも低いので停止させておきます。
FUJISTU RX200 S5
修理したマシンです。Proxmox Backup Serverを入れて、Proxmoxのバックアップを外部へとれるようにしました。容量は500GBと少な目ですが、バックアップは圧縮されるのでなんとかなるでしょう。SSD1TBをRAIDを組むために2枚なんて買えません。
FUJISTU RX200 S6②
こちらも修理したマシンです。Proxmox Virtual Environmentを入れて仮想マシンLinuxコンテナを作りまくれるようにしました。LDAPや名簿管理システムなどのサークル管理に必要なツールを入れています。ハードウェアRAID1を組んでいるため安心ですが、SAS-HDDなのが心配です。
FUJISTU RX200 S6③
外部公開用マシンです。中にwebサーバーなどを立てサークルのウェブサイトを公開していくつもりです。Proxmox VEによりWebサーバーを立てまくれます。こちらはSSDのハードウェアRAID1を組んでいます。
FUJISTU TX120 S3
「ntopng」というネットワーク監視サーバーを入れています。IDSの機能も追加していきます。こちらはUbuntu Server に入れてソフトウェアRAIDを組みました。
DELL PowerEdge T410
Proxmox VEですが、これは部員が自由に使用できるサーバーです。一番性能が高く、実験用のVM、マイクラサーバーなどいろんなものが立てられます。こちらもハードウェアRAIDを組んであるので安心です。
ネットワーク
ネットワークは以下のように設定しました。
| VLAN | 名称 | 機能 |
|---|---|---|
| VLAN10 | InternalNetwork | サークル内のWi-Fiなど |
| VLAN12 | SurveillanceNetwork | サークル管理・ネットワーク監視用 |
| VLAN13 | SrviceNetwork | 外部公開用 |
| VLAN14 | ManagementNetwork | 管理用 |
VLAN11
特にいうことはありません。Wi-Fiはこのネットワークになぎ、部員が自由に使えるようにしています。PowerEdgeはこのVLANにつなぐことで部員が自由に接続できます。このVLANのサブネットマスクは/23で、IPアドレスは172.16.10.0から172.16.11.255までです。
VLAN12
サークル管理用、ネットワーク監視用のVLANです。FUJISTU RX200 S6②とFUJISTU TX120 S3はこのVLANにあります。IPは172.16.12.0から172.16.12.255までです。
VLAN13
サービス公開用のVLANです。FUJISTU RX200 S6③はこのVLANにあります。このVLANはいじれないようにどのVLANからもアクセスできないようになっています。逆にこのVLANから他のVLANにもアクセスできないので、外部公開用としては問題ないと思います。IPは172.16.13.0から172.16.13.255までです。
VLAN14
管理用のVLANでProxmoxへのアクセスとクラスタ、バックアップなどの通信はこのVLANで行われます。VLAN13が閉じられていても、このVLANをVMに追加することでSSHが可能です。ちなみに、このVLANのIPは172.16.20.0から172.16.23.255まで存在し、ネットマスクは/22 です。IP管理も非常に簡単で、IPアドレスが172.16.12.20ならば、172.16.22.20と1を2に変えるだけで済みます。
クラスタ
Proxmoxにはクラスタの機能があります。ProxmoxにはVLAN10から13のどれかと、VLAN14の二つを接続しています。クラスタの接続はVLAN14で行われており、ネットワークの遅延をなるべく起こさないようにしてあります。
クラスタを組むことにより、VLAN10で作成したサーバーなどをマイグレードで別のVLANのProxmoxへ移し公開させるみたいなことができます。本当はCephを組もうとしたのですが、ネットワークが1Gbpsまでなのでやめておきました。
おわりに
以上がサークル内で作ったサーバーです。私たちの知識で作った最強のインフラ環境なのではないかと思っています。まぁ、問題もあると思うのでよろしければご意見お聞かせください。