0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

誤ったページング処理でサーバーが落ちた話

0
Posted at

以前、韓国で勤めていた会社が運営していた POS / セルフレジサービス には、店舗のオーナーが売上情報を照会できる機能がありました。このとき売上情報は、特定期間の売上データを取得するために次の 2つのテーブル を利用していました。

  1. 当日売上情報テーブル: 売上明細をリアルタイムに保存する。
  2. 日別売上集計テーブル: 毎朝5時に実行されるバッチ処理によって、日付ごとに集計された売上データを保存する。(リアルタイムの売上は含まれない)

この2つのテーブルを併用しようとしたことで、ページング処理 で想定外の問題が発生しました。

複数テーブルでのページング問題

一般的なページング処理は、次の手順で進みます。

  1. クライアントが startNo(開始番号)と recordSize(一度に取得する件数)をサーバーにリクエストする。
  2. サーバーがDBへクエリを投げる際、LIMIT や OFFSET などを使ってソート済みデータの一部だけを取得する。
  3. サーバーがそのデータをクライアントへレスポンスする。

ところが、当日売上テーブル と 集計テーブル を同時に参照しなければならない状況で、単純に LIMIT と OFFSET を適用すると、誤ったデータ が取得されてしまいます。

例)

ページサイズを4として、2ページ目(OFFSET 4, LIMIT 4)をリクエストする状況を考えます。
正しい結果は、2つのテーブルのデータを結合してソートしたうえでの5〜8件目、つまり当日テーブルの最後の1件と集計テーブルの先頭3件です。

image.png

解決方法

  1. UNION で結合してから LIMIT & OFFSET
    • SQLで2つのテーブルのデータを UNION で結合し、その結果に対して改めて LIMIT と OFFSET をかける方式。
    • デメリット: 最もシンプルですが、UNION は クエリ性能が低下する 可能性があります。
  2. JOIN を使う
    • 集計テーブルを基準に、必要な情報だけを JOIN して取得する。
    • デメリット: 当日売上情報テーブルと集計テーブルの構造が大きく異なる場合、クエリの複雑さと性能 の問題が生じる可能性があります。
  3. 照会期間の制限
    • ページング処理を使わず、一度に取得されるデータ範囲を狭めるために 最大照会可能期間 を制限する方法。(例: 最大30日までしか照会できないように制限する)
    • デメリット: 照会期間を制限するため、ユーザーにとっては不便に感じられる可能性があります。

まずは開発スピードを優先して3つ目の方法を採用し、データを照会するすべての機能でページング処理を使わないことにしました。

しかし、これがサーバーが落ちた原因になってしまいました……

通常はフロントエンドとバックエンドの両方に照会期間を制限するロジックがあるのですが、モバイル向けAPIを新しく作る過程で、フロントエンド・バックエンドのどちらからも期間のバリデーションロジックが抜け落ちたまま本番サーバーにリリースされてしまいました。

その後、1年分の売上照会をリクエストした店長さんがいて、DBから約2万件のデータが一度に取得され、サーバーがそれをすべて処理することになりました。

image.png

上の図のように、DBから取得したデータをサーバーで処理する際には、いったんメモリ上に一時保持したうえで処理が行われます。

問題は、これほど大量のデータをサーバーのメモリに一時保持して処理する過程で、該当スレッドに割り当てられたメモリ使用量が限界を超えてしまい、最終的にサーバーが停止する事態にまで至ったことです。

当時は該当APIに照会期間を制限する機能を入れ、サーバーを再起動することで対応しました。その後、チームで約1年かけてプロジェクト全体を作り直し、このときDB設計も変わったため、すべての照会APIは UNION で結合してから LIMIT & OFFSET を使う形へと改善されました。

これまではクエリを書くときやコードを書くときに性能ばかりを気にして、メモリについてはあまり意識していませんでしたが、良い経験になりました。

余談ですが、決済データはKafkaに蓄積されていたため、決済データが失われるような事態は起きませんでした。



最後まで読んでいただき、ありがとうございました。
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?