はじめに

約1年前に自宅サーバーの紹介をしました。なんといいね数は170超えと大反響でした。実はProxmoxの本なんかも書いて同人誌として販売もしていました。今回は、その後サーバーがどうなったのか、今後どうしていくのかを紹介します。

《1年前のサーバー》
https://qiita.com/stLuciano/items/49652543192f2402e7c8

スペック

メインマシン

項目	搭載品
CPU	Intel Core i5-10400F (6C12T)
RAM	DDR4-2666MHz 16x2=32GB
GPU	NVIDIA GeForce GTX 1660 Super
M/B	ASRock H570M-ITX/ac
SSD	128(boot) + 500(VM) + 512(Windows)GB (256GBを500GBに交換)
HDD	1TB + 4TB + 4TB (500GBと4TBに交換)
Case	Fractal design Era-ITX silver
PSU	SFX-L 600W

スペック自体はあまり変えていません。変えた点としてはSSD、HDD、PSUです。以前、VM用に使用していた256GBのSSDは、破損率が16%になったため500GBの新品に交換。500GBのHDDは2010年からつかっており、ついにセクタ不良が発生したため、4TBのNAS用HDDに交換。冷却性能を上げるために電源をATXから小型のSFXに交換しました。

バックアップサーバー

項目	搭載品
Model	DELL OptiPlex 3050 Micro
CPU	Intel Core i3-7100T (2C4T)
RAM	DDR4-2400MHz 4x2=8GB
GPU	Intel HD 630
SSD	128(boot)
HDD	4TB

あれからバックアップサーバーを購入しました。メルカリで8000円でした。普通に使えてますし、消費電力が低いので結構あり。

サーバーの中身

CT/VM一覧

はい。増えました。1年たち、様々なサーバーを構築してきました。

廃止したCT/VM

名前	廃止理由
Suricata	CloudflareのゼロトラストとProxmoxのファイアウォールでカバーできると判断したため
hugo	WordPressにしたため
SoftEther	新しく買ったノートPCとの相性が悪く、使えないため
camera	pve v8.2からCTへのハードウェアパススルーに対応したため

正直、Suricataとhugoに関しては面倒だったからが強いです。cameraについてはProxmoxのアップデートで問題が解消できたので、単純に使う理由がなくなりました。

SDN

SDNはSoftware Defined Networkingの略で、直訳するとソフトウェアで定義されたネットワークです。Proxmox内部に仮想的なルーターとスイッチを用意して、疑似的なVLANを作成しました。詳しい説明は公式ドキュメントをご覧ください。
https://pve.proxmox.com/pve-docs/pve-admin-guide.html#chapter_pvesdn
一応、以下の手順に操作してsimpleゾーンを設定できます。

構築したサービスの紹介

構築したサーバーをVMID順に紹介していきます。以前紹介したものは省きます。

Cloudflare Tunnel

以前、省いたCloudflare Tunnelの構築方法を紹介します。Cloudflare Tunnelを使用すれば、ポート開放をせずにVPN接続やウェブサイトの公開ができます。

アカウント設定

CloudflareのダッシュボードからZero Trustにアクセスします。アカウントがない場合は作成してください。
初めてZero Trustにアクセスする場合は、チーム名などの各種設定を済ませてください。プランはFreeで問題ありませんが、Freeでもクレカ情報を求められます。
ユーザー設定を行います。「Setting」→「WARP Client」を選択し、「Device enrollment permissions」の「Manage」を選択します。
「Add a rule」を選択し、VPNにログインさせるユーザーのメールアドレスを登録します。「Rule name」には適当なルールの名前を入力し、「Rule action」は「Allow」にします。「Include Selector」は「Emails」を選択し、「Value」にメールアドレスを入力します。複数入力も可能です。

トンネル構築

ProxmoxのCTを用意します。
Cloudflare Zero Trust ダッシュボードにアクセスします。
「Networks」→「Tunnels」にある「Create a tunnel」をクリックします。
「Select your connector」はそのまま「Cloudflared」を選択して「Next」をクリックします。
「Name your tunnel」にお好きなトンネルの名前を入力し「Save Tunnel」をクリックします。名前は適当に「Tunnel」でも構いません。
「Choose your environment」は1. で用意したマシンの環境を選択します。UbuntuテンプレートでCTを作成した場合は「Debian」→「64-bit」です。
表示された「Install and run a connector」の「If you don’t have cloudflared installed on your machine」と書かれたコマンドをすべてコピーし、1. で作成したマシンにまるまるコピペして実行します。
少し時間がかかりますが、エラーが表示されなければ成功です。
「Next」をクリックして、公開および共有設定を行います。「Public hostnames」はWebサイト公開、「Private networks」はVPNのネットワーク設定です。どちらか一つのみの設定もでき、あとから変更できます。

サイト公開（Public hostnames）

サイト公開にはCloudflareにドメインが登録されている必要があります。
写真のように、サブドメインとドメインを入力し、ローカルネットワークにあるサービスのタイプとIPを入力すればOKです。

トンネル除外設定

ここままでは何もVPN接続できないので、許可するIPを設定します。
「Setting」→「WARP Client」→「Device setting」の中に「Default」が作成されているはずです。それをクリックし、「Configure」を選択します。
「Split Tunnels」の欄で「Include IPs and domains」が選択されているかを確認して、「Manage」をクリックします。
「Selector」を「IP Address」にして、公開およびVPNを許可するIPアドレスを入力します。「Value」にIPアドレス、もしくはIPアドレス範囲を指定します。
例えば、192.168.10.5だけを許可する場合は192.168.10.5/32、192.168.10.1～255まで許可する場合は192.168.10.0/24と入力します。「Save destination」を押せば設定完了です。
（/32に関しては、書かなくとも自動で指定されます。）

VPN設定（Private networks）

VPN接続するネットワークIPアドレス範囲を「CIDR」に入力します。トンネルサーバーが「192.168.1.100」にあり、範囲（サブネットマスク）が「/24」の場合は、「CIDR」に「192.168.1.0/24」と書きます。
VPN接続したいマシンのブラウザのアドレスバーに1.1.1.1と入力してアクセスし、アプリケーションをインストールします。
アプリの設定を開き、歯車マークから環境設定、アカウントにある「Zero Trustにログイン」を選択します。
開いたウィンドウにチーム名を入力し、開いたブラウザに設定したメールアドレスを入力し、ワンタイムパスワードを取得します。
メールが届いたら、メールに記載されているワンタイムパスワードをブラウザに入力すれば、アプリが起動します。
アプリの「WARP」という表記が「Zero Trust」になるので、スイッチをオンにすればVPN接続が完了し、外出先からでもサーバーにアクセスできます。

PowerDNS

DNSサーバーです。フルリゾルバを入れており、データベースにない場合は1.1.1.1へ接続されるようにしています。構築方法は、他の方の記事がわかりやすいので省きます。PowerDNSにした理由は、SDNとPowerDNSを接続して、自動でドメイン生成ができるからです。

Portfolio

僕のポートフォリオサイトです。WordPressで構築しました。ProxmoxのCTテンプレートの中には「Turnkey Linux」というサーバーのパッケージの入ったテンプレートがあります。その中にWordPressがあったのでそれにしました。理由は単純で楽だから。
構築方法は、Proxmoxのテンプレートから「turnkey-wordpress」というテンプレートがあるので、これでCTを構築するだけです。注意点としては、初回起動時に設定するDBとwordpressパスワードは、数字、英字の大文字、小文字、記号のうち3つを使う必要があるので注意してください。

もし、Cloudflare Tunnelを使用してサイトを公開する場合は、画像がうまく反映されないので設定を変更します。構築後、ブラウザのアドレスバーにServer-IP/wp-admin/options.phpと入力しアクセスします。すると、普段は変更できない裏設定が表示されるので、以下の点を変更してください。

「upload_path」を「./wp-content/uploads」に変更してください。
「upload_url_path」にYour-Domainをサイト公開で設定したものに変更してhttps://Your-Domain/wp-content/uploadsと入力してください。

Website.Wordpress

サークルのウェブサイトです。実は以前はシステム工学研究会として活動していましたが、技術同人誌プロジェクトの参加者が2人のみだったので、独立してサークルを作りました。これはそのウェブサイトです。これもWordPressのテンプレートから作成しました。ただし、ローカルIP以外は管理画面へ行けないようにしています。見てくれると嬉しいです。

Nextcloud

NextcloudはOSSのクラウドストレージです。Dockerを使えば簡単に作れるので面白いです。LDAPでユーザ管理を行い、Cloudflare Tunnelで公開しています。Nextcloudの構築方法、および設定方法は長くなりそうなので、別の機会で紹介します。

ONLYOFFICE

OSSのオンラインオフィスソフトウェアです。Nextcloud上でオフィスソフトをいじれるようにしています。実は、Nextcloudにはオフィスソフトが入ってはいます。ですが、使える機能が少なく、正直使いづらいです。サークルメンバーから、これだけは入れてほしいとせがまれて頑張っていれました。入れてよかったです。これも別の機会に

PowerDNS-Admin

PowerDNSをGUIで操作できるツールです。なぜかDNSサーバーと同じマシンで使うと認識しなかったので、仕方なくCTを分けています。Dockerで構築しました。

LDAP

LDAPはLightweight Directory Access Protocolの略で、ネットワーク機器やユーザーID、パスワードを一括で管理してくれるツールです。これもTurnkey Linuxのテンプレートから作成できます。特徴として、テンプレートにはLDAPをGUIで編集するツールがすでに入っているので、楽ではあります（日本語に対応していませんが・・・）。

mino31web

サークルメンバーが構築した実験CTです。

GROWI

GROWIはOSSのウィキソフトウェアです。いわゆるesaです。サークル内で使用するために構築しました。注意事項として、CPUがAVXに対応している必要があり、CTでは構築できず、VMも物理マシンが古すぎると構築できませんでした（CTは方法あるかも？）。
AVXはIntel第2世代CPUから導入された、対応アプリケーションの処理能力を高める拡張命令です。GROWIはMongo DBを使用しており、このDBはAVXを使用します。ProxmoxはIntel第5世代CPUのエミュレートができるので問題ありませんが、物理CPUが古すぎるとQEMUがCPUをエミュレートできず、VMが起動しません。

インストール

ProxmoxでVMを作成し、ストレージ設定まで設定します。ストレージは64GB以上が推奨です。(32でやったらすぐに埋まりました。)
CPUの設定の種別を「x86-64-v3」に変更して2コア以上割り当てます。
OSをインストールします。
DockerとDocker Composeをインストールします。Ubuntu Serverは以下のコマンドでインストールできます。

$ sudo snap install docker docker-compose

以下のコマンドらを使ってGROWIをインストールし、アクセスできるように設定を変更します。gitクローンしたあと、ファイルに移動し、設定ファイルをnanoでもvimでもいいので開きます。

$ git clone https://github.com/weseek/growi-docker-compose.git growi
$ cd growi/
$ sudo nano docker-compose.yml

開いたファイルを以下のように変更します。

ports:
- 127.0.0.1:3000:3000    # localhost only by default

《↓↓変更後》
ports:
- 3000:3000

compose upをして起動させ、Webブラウザを開いてServer-IP:3000でアクセスしログインできれば成功です。

$ sudo docker-compose up

NAS.N-data

ユーザーが共有するNASです。個人用のNASと分けるために構築しました。容量は1TBです。

サーバーの予定

実は1月にサーバーのアップグレードを予定しています。スペックは以下の通りです。

メインノード

項目	搭載品
CPU	Intel Core i5-10400F (6C12T)
RAM	DDR4-3200MHz 16x2=32GB
GPU	NVIDIA GeForce GTX 1660 Super
M/B	ASRock H570M-ITX/ac
SSD	128(boot) + 500(VM) + 512(Windows)GB
HDD	1TB + 4TB
Case	Fractal design Era-ITX silver
PSU	Fractal design L-SFX 650W GOLD
用途	Proxmox メインクラスタノード

セカンドノード

項目	搭載品
CPU	Intel Core i9-10900F (10C20T)
RAM	DDR4-2666MHz 8x4=32GB
GPU	NVIDIA GeForce RTX 3060Ti
M/B	ASRock H470m Pro4
SSD	1TB(boot) + 512GB(VM)
HDD	4TB
Case	Antec CX200M
PSU	ATX 600W Bronze
用途	Proxmox セカンドクラスタノード

メインノードについては変わりません。大きな違いは、マシンを1機追加します。
スペックはCore i9-10900FでGPUはRTX 3060Tiとかなりの高スペックです。これを使って、サークルメンバーが使えるVDIや画像生成AIサーバーなどを構築していきたいと考えています。

おわりに

今の構成はこんな感じです。今後は、Cephまでは使えないですが、Corosyncクラスタを活用していきたいなと思っています。それ用にルーターを先輩からいただきました（1GbEなので足りるか不安ですが・・・）。そして、画像生成AIサーバーだったり、Active Directoryで動作するリモートWindows11を用意したいなと思っています。今後も逸般の誤家庭を目指していきますｗ