挨拶
はじめまして、決済丼( mstdn.kessai-otaku.club )のサバ缶をしてるpitoruです。
この記事は、 分散SNS Advent Calendar 2019 の8日目の記事になります。分散SNSとは、アドベントカレンダーとは？みたいな話は割愛させていただいて本題に入りましょう。
決済丼、海外に移設す
事の発端
事の発端は、複数ありまして、
- 雰囲気で立てたMastodonを一度再構築することで理解を完全なるものにしたい
- マネージドDBを使っておらず、バックアップ機構も備えていなかった当サーバーでは、冗長性が確保されていないために、せっかくのDB分離がヒューマンエラーによるAPPサーバーの全消し消失防止以外のメリットを享受できていない
- 運営費用を抑えたい
といった事があり、追々サーバーのマイグレーションをしたいと思っていました。そこで目をつけたのが、Time4VPS( https://www.time4vps.com/ )です。
Time4VPSとは
リトアニアのホスティング業者が運営するVPSです。こちらの価格表を見てもらえればわかるんですが、めちゃくちゃやすいです。一番安いプランでも、国内の1200円/月くらいするスペックでありながら、お値段は国内相場の約半額。コンテナ型に関しては更に1ユーロ安いという破格ぶり。
安すぎるし、大丈夫かと心配になるものの、リトアニアでは大手のホスティング業者らしいし、評判も上々(まあただ結構ネット広告にお金かけてそうなので、さくら記事みたいなのも多そうですが)。
ただし、やはりリトアニアという物理的距離が理由でレスポンスは遅延するので、どの程度まともに使えるかをテストするのも兼ねて、使ってみることにしました。最悪だめでも小規模のインスタンスなのでもとに戻せばいいし、割と使えるならコスト削減できるし、悪いことなし。ということでマイグレーションすることにしました。
LinuxVPS
| Linux 2 | Linux 4 | Linux 8 | Linux 16 |
|---|---|---|---|
| CPU:1×2.6Ghz | CPU:1×2.6Ghz | CPU:2×2.6Ghz | CPU:4×2.6Ghz |
| RAM:2GB | RAM:4GB | RAM:8GB | RAM:16GB |
| Storage:20GB | Storage:40GB | Storage:80GB | Storage:160GB |
| Bandwidth:2TB | Bandwidth:4TB | Bandwidth:8TB | Bandwidth:16TB |
| 3.99EUR/month | 5.99EUR/month | 9.99EUR/month | 17.99EUR/month |
ContainerVPS(OpenVZ Container)
| Linux 2 | Linux 4 | Linux 8 | Linux 16 |
|---|---|---|---|
| CPU:1 vCPU | CPU:1 vCPU | CPU:2 vCPU | CPU:4 vCPU |
| RAM:2GB | RAM:4GB | RAM:8GB | RAM:16GB |
| Storage:20GB | Storage:40GB | Storage:80GB | Storage:160GB |
| Bandwidth:2TB | Bandwidth:4TB | Bandwidth:8TB | Bandwidth:16TB |
| 2.99EUR/month | 3.99EUR/month | 5.99EUR/month | 9.99EUR/month |
仕様策定・設計・移行
今回の目的は、今の環境と同じ性能を担保しつつ、運営コストを圧縮することが目的。
従来
従来、カゴヤVPSを使用していた。カゴヤVPSも国内の業者の割には、値段の割にRAMの搭載量が多く、コスパは良かったです。MastodonのRails APP・Redisと、DBを分けて、DBはAPPからローカルLANからアクセスする構成としていました。
第1次移行
とりあえずテストや！！！と雑にDB以外をTime4VPSに移行。無事成功はしましたが・・・・
日本からリトアニアにHTTPリクエストが送られ、リトアニアから日本にあるDBにクエリを送り、それをリトアニアで受け取って・・・
要するにDBとAPPがむちゃくちゃ離れてるせいで、レスポンス遅延が2000-3000msにまで膨れ上がりました。もちろんまともにMastodonなんてやってられません。翌々日にDBも移行しました。
第2次移行
DBも別途Time4VPSにインスタンスを立てようか悩みましたが、分けたところで、APPサーバーと分けるメリットが、先述の通りAPPサーバー全損時のDB破損リスクが減るだけ・・・
「だけ」とはいえそれがいいという話なんですが、費用対効果が・・・でもマネージドDBはコストが嵩むのがなぁ・・・まあS3に日時DBバックアップを取ればヨシ！ということにしました。
最適化
DB自動バックアップ化
まずは、毎日cronでwasabiへpg_dump。成功するとadminアカウントがバックアップの成功可否を投稿してくれます。
これはほんのちょっとした作業(多分権限周り？)をいじっただけで、ずっと失敗続きだったcronが成功して驚いてる様子です。
CDNで遅延最小化
小さいインスタンスですが、場所が場所なので、CDNを通すことで日本国内に一部リソースが配置される事と通信経路が多少最適化されることを期待して、cloudflareを通しました。無料枠で運用しています。
wasabiのホストリージョンを変更
この辺りの作業ついでにwasabiのリージョンも新規開設されたEUリージョンに移しました。CDNのキャッシュを有効に使いためにバケット名を変えたかったし、EUにもリージョンできたならそこでええやん、となったからです。
効果測定
国内のVPSをフル活用しており、かつリソースが比較的潤沢な理想的な環境で動作している不眠丼( mstdn.nere9.help )と比較しました。とは言っても、条件が違いすぎるのであくまで参考値です。
トゥート投稿
適当に投稿してみます(雑)
nere9
kessai-otaku
Content Downloadがやはり3倍ほど掛かってますね。ただ、TTFBはむしろ3分の1というのが意外。やはりCDNの効果が効いているのでしょうか？
画像読み込み
同じ画像をクリックして拡大表示した時に読み込む画像の読み込みを見てみます。
nere9
kessai-otaku
画像となると、やはりTTFBもContent Downloadも両方ともnere9の3倍以上掛かってますね。どうしてもCDNのキャッシュが効いていない画像はEU内でも画像データをやりとりして日本に転送されてくる以上、遅くなってしまいました。まあサムネイル程度の画像ならいうほど気にならないでしょうし、気にしないことにしましょう。
実験は成功だ！
まとめ
- 分散SNS運営はインフラのお勉強になる上にマイTwitterサーバーを実質所有できてお得
- 運営費用が出せない？それはただの怠慢だ(暴言)
- お一人様インスタンスはいいぞ(といいつつ私はテーマ丼ですが)
- Time4VPSは雑にVM使うウェブサービス組んで置いておくにはむちゃくちゃ便利だぞ
ということで、Mastodon以外でも積極的に活用したいですね。