もう一年以上前の話ですが、エキサイトのWisteriaをAWSに移行した話を書こうと思います。
Wisteriaとは
機械学習を使ったコンテンツレコメンドのシステムです、紹介ページ
システム構成
移行前のシステム構成はこんな感じ、MLの部分が重いのでキューの仕組みを入れて処理をしていました。
移行前の課題
- openstackが暴走する
- cassandraが安定しない
- zookeeperのファイルがよく壊れる
- stormがうまく立ち上がらない
- 色んなミドルウエアのバージョンが古い
- 障害時にサーバーが多すぎて、原因の特定が難しい（ログが色んな場所に点在）、zabbixも入れているがそれだけでは追いきれない
会社ではDevOpsが推奨されていたので、サーバー周りもアプリケションエンジニアが見ないといけない、3ヶ月に一度は障害が起きていたのでしんどい
移行の計画
オンプレでは運用上の色んな問題があり、せっかく移行するので問題を解決しつつ、クラウドに最適化した形で運用のコストを下げたいと言う思いがありました、そこで考えたプランは３つ
-
プランA （色々最適化）
- Front / Api / Tool / Batch はコンテナ(ECS)
- MySQLはAurora
- CassandraはDynamoDB
- Kafka、StormはKinesis、Lambda
- AutoScale、自動Deployなど
-
プランB （問題になっている部分をなるべくマネージド）
- Front / Api / Tool / Batch はEC2
- MySQLはAurora
- CassandraはDynamoDB
- Kafka、StormはMSK、EC2
- AutoScale、自動Deployなど
-
プランC （ほぼ何もせずそのまま移行）
- Front / Api / Tool / Batch / Cassandra / Kafka、Storm はEC2
- MySQLはAurora
- AutoScale、自動Deployなど
移行期間が2ヶ月と言うこともありプランAは現実的に無理、頑張ればプランBで行けるかもしれないということでプランBで行くことにしました。
メンバー構成
初期メンバーは3名+途中から1名追加になり計4名で行いました、分担は以下の通り
- EC2を構築してアプリケーションを移行するメンバー
- CassandraをDynamoDBに移行するメンバー
- Kafka、Stormを移行するメンバー
- その他は手が開いた人がやる
みんなクラウド移行はほぼ初めてだったので、実際に移行を始めるといろんな問題が発生することになった
移行
EC2編
オンプレ時代からansibleで構成管理していたので、スムーズにくと思っていたが…
- OS古い問題
- Ubuntu16を使っていたがサポートが2021年で切れるため、やもなくUbuntu18へアップデート
→ これにより諸々のパッケージのバージョンが上がる、フロント、APIをphpで書いていたので、アプリケーションのテスト工数が膨らむ、やもなくphpだけダウングレード
Kafka/Storm編
- バージョンがあまりにも古い問題
- Stormのバージョンがv0.9.xだったので、ec2でもこのバージョンをインストール、Amazon MSKと連携してみたが全くうまくいかない
→ チーム内で協議
①stomのバージョンをあげてMLのソースを書き直す
②MSKを使わず、kafkaをec2で構築する
③kafka/stormをやめる
→ ③を選択し、kinesis/Lambdaにすることにしました。理由は、運用で悩まされていたkafka/stormをやめたかった、将来的にStormをやめるのにソースを書き直すモチベーションがわかないなど
Cassandra編
- Cassandraのデータ移行に悪戦苦闘
- マイグレーションツールを使って移行をする予定で進めていたが、Macだとツールが不安定で落ちたり、ツールの使い方も分からなかった部分もあり悪戦苦闘、ようやく進んだと思ったらcassandraとツールのバージョンが合わず、そもそも使えなかったりで１ヶ月溶かす
→ 結局マイグレーションツールを使わず、cassandraのデータをダンプして、データパイプラインで入れることにしました。
移行後の構成
そんなこんなで移行後の構成はこうなりました。
当初想定していた構成とは若干異なりますが、ec2以外はマネージドにすることが出来ました。
感想
大変な部分もありましたが比較的順調に移行が行えました。
クラウドに移行したことにより、運用で問題になっていた部分もほぼ解消し、安定した運用が行えるようになりました。
費用も半分以下に抑えることができてよかったです。
サーバー周りのインフラ的なことから解放され、アプリケーションに専念できることが一番よかったとつくづく思います。