概要
2023年5月、Twitter（現X）が提供するAPIが突如として有料化し、2009年から個人により運営されてきたTwilogがサービスの終了を発表しました。
そこに手を差し伸べる1つの企業がありました。そう、Twitter関連企業のTogetterです。
華麗な買収エピソードの裏側で、Twilogの統合プロジェクトがスタートします。
RubyからPHPへのフルスクラッチでのコード移行
15年間貯め続けたテラバイト級のDBの移管作業
コストを抑えてAWS環境へ移管するための試行錯誤
などなど、1年間に及んだ移行作業の全容についてお話しします。
所感
多分、この界隈で知らない人はいないと思うサービス、TogetterとTwilog。
twitterがXになり、APIの利用事情が大きく変わった事で、クリティカルに影響を受けた両サービスが統合する事になり、その際の舞台裏を、赤裸々にお話いただきました。
時間にすると45分ぐらいのセッションですが、非常に濃い内容で、とても面白かったです。
中々普段、TB級のデータを移行させる事なんかないですし、
理路整然としたデータならまだしも、個人開発スタートであるが故にその整理も含めて行う必要があった、
沢山の苦労、苦悩。沢山の意思決定。
それらを経て、無事統合しサービスが継続されている両サービスには、本当に拍手を送りたい。
詳細は公開されているスライドをぜひ読んでほしいのですが、
データ移行、システム統合するにあたって様々な試みが行われた事、そのトライ＆エラーに、エンジニアのプライドを感じました。尊敬。
また、スピーカーの方とは懇親会でもお話する事ができ、さらに突っ込んだ事も聞けて、それも含めて面白かった、個人的には今回のベストセッションかもです。
スライド
受講メモ
Twitter APIが有料化→月600万
ドメインの統合
twlogではAPIが停止。ログイン機能を復旧し、twggterドメインに。
アプリケーションの統合
同スペックをAWSに構築すると高コストになる。
めもりーさんにコード移行を依頼
Togetterのコードは把握済み
rubyからPHPへ
twlogには仕様書もテストもない。あるのはコードだけ
rubyを知らなかっためもりーさん。
２ヶ月で予定通り移行完了
AWSとさくら間でのmysql接続は失敗
検証までは良かったが、デプロイ後に処理が詰まってダウン
F2、DBをAWSへ移行
TB級のデータ移行
sqldump、mysqldump
データ生成、転送、復元
EC２スペックを一時的にとにかくあげる
途中失敗するとやり直し
工程の自動化、途中から再開できる工夫、ロギング
１５年間のうち1日だけ欠損していてやり直し。。。
ストレージコスト増大に対する対策
案１：S3にログデータをテキストとして保存し、S3 Selectを使って全文検索を実現
案２：SqLite。１ユーザー１SQLiteをS3に保存し、運用
→案２
100万ツイートあるようなユーザーのツイート検索でエラー
SQLliteをマスターに、サーバーローカルにmysql Myisamを構築運用
→ん？戻ってない・・？
Twitter API v1.1が終了するアナウンスがあり、デプロイせざるを得ない状況に
SQLliteの廃止
ChaceのMysqlがうまく動いているので、マスターに昇格させる
WriteとReaderの２台構成
事前の負荷テスト
nginxのリクエストをミラーリングして新環境にも流してみることで検証
現在月10万程度のコストで構成
S3 Selectでのコスト試算で数百万