0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

【ポストモーテム】Fault Tolerance ライブラリのメモリリークで、Java サービス 81 個中 41 個が漏れていた

0
Posted at

はじめに

キューを消費してキャッシュに書き込むバックエンドサービスが遅くなり、メモリが下がらず、何度か OOM で落ちました。調べていくと、原因はそのサービス固有の問題ではなく、Quarkus の下で動いている Fault Tolerance ライブラリ(SmallRye Fault Tolerance)の不具合でした。

本記事は、この件をポストモーテムのテンプレートに沿って整理したものです。調査中の試行錯誤よりも、事実・判断・改善アクションに重点を置いています。

本ポストモーテムは無責(blameless)の原則に従います。議論の対象はシステムとプロセスであり、個人ではありません。

結論

  • SmallRye Fault Tolerance は metrics 有効時、アノテーション経由の呼び出しで1 呼び出しにつき 1 オブジェクトがリークしていた(キャッシュのキーが毎回新規生成されるオブジェクトの同一性だった)。
  • 暫定対応は共有設定 1 行 smallrye.faulttolerance.metrics.enabled=false。この metrics はどこからも参照されておらず、無効化による損失はゼロ。
  • 恒久対応として upstream に修正 PR を出し、当日中にマージ・4 つのバージョンライン(6.9.4 / 6.10.2 / 6.11.4 / 7.0.0)でリリースされた。

概要

項目 内容
事象 キューを消費しキャッシュに書き込むバックエンドサービスが遅延し、メモリが高止まり、何度か OOM
根本原因 Fault Tolerance ライブラリ(SmallRye Fault Tolerance)で metrics 有効時、呼び出しごとに 1 オブジェクトがリーク。キャッシュのキーがオブジェクトの同一性で、しかもそのオブジェクトが毎回新規生成されていた
影響範囲 ステージング環境の Java サービス 81 個をスキャンし、41 個でリークを確認。本番の同一サービスはメモリが上限の約 80% に張り付いていた
ユーザー影響 本番でユーザーから見える影響は記録されていない。ただし上限近くで動き続けており、臨界状態だった
暫定対応 プラットフォーム共有設定で Fault Tolerance の metrics を無効化(1 行で影響サービス全体をカバー。実インスタンスで効果を確認済み)
恒久対応 ライブラリの不具合を特定し upstream に修正を提出。当日マージ、4 バージョンラインでリリース。各サービスは再ビルド・再デプロイに合わせて修正版へ順次移行する計画
筆者の役割 ヒープ分析、最小再現の作成、根本原因の特定、影響範囲の評価、暫定対応の提案、upstream への修正提出

影響

  • 範囲:特定のサービスではなく、共通ライブラリの 1 つの呼び出し経路の問題です。アノテーション(@ApplyGuard など)で Fault Tolerance のポリシーを適用しているサービスはすべて漏れます。ステージングの Java サービス 81 個中 41 個でリークを確認し、ひどいものではリークしたオブジェクトが 30 万〜96 万個に達していました。
  • なぜ 1 サービスだけが落ちたのか:これはリークの速度と再起動の頻度の競争です。多くのサービスはリリース、オートスケール、ノード入れ替えで頻繁に再起動されるため、溜まりきる前にリセットされます。スループットが最も高く、再起動の間にヒープを埋め切れるサービスだけが負けました。
  • 潜在リスクのほうが大きい:本番の同一サービスはほとんど再起動されないため、メモリは上限の約 80% に常に張り付いていました。一方、頻繁に再スケジュールされるステージングでは約 35% でした。一番安定して見える環境が、実は一番壁に近かったということです。
  • ユーザー影響:本番でユーザーから見える影響は記録されていません。ただ上限近くで動き続けており、まだ壁に当たっていなかっただけです。

検知

  • どう見つかったか:サービスの遅延、メモリが下がらない、OOM の発生を受けて、チャットで同僚が「データ量が増えた?」と聞いたのが始まりです。つまりアラートではなく人が先に気づきました。
  • 監視のギャップ:メモリ使用率はずっと上がり続けていましたが、「稼働時間に対してメモリが単調増加している」ことを検知するアラートはありませんでした(OOM が起きて初めて見える)。リークは慢性的な症状で、閾値ベースの瞬間的なアラートでは捉えられません。

タイムライン

確定した日付が残っているのは主要なイベントのみです。日付の記録がないイベントは発生順に並べています。

時期 出来事
約 8 か月前 リファクタリングで「宣言的リトライ」から「アノテーションによる Fault Tolerance 適用」に変更。リークする呼び出し経路が入った(事後に git blame で確認)
調査開始 キャッシュ書き込みサービスが遅延・OOM。チャットでの質問をきっかけに調査開始
その後 稼働中の Pod からヒープヒストグラムを取得。保護対象のメソッドは 7 個なのに、計測用ラッパーオブジェクトは 31 万個あり増え続けていた。Fault Tolerance の metrics に絞り込む
その後 誤った仮説 3 つ(「新しいバージョンで修正済み」「ランダム UUID が原因」「シングルトンが呼び出しごとに漏れるはずがない」)を、それぞれ最小再現で検証して否定
2026-09-16 本物の CDI コンテナで再現。呼び出し回数とリークしたオブジェクト数が厳密に 1:1。逆コンパイルでキャッシュキーの誤りを特定し、最新版でも未修正であることを確認
2026-09-16 81 サービスをスキャンし 41 個が影響ありと確認。プラットフォームレベルの暫定対応(metrics 無効化)を提案し、実インスタンスで効果を確認。この metrics がマネージド Prometheus で一度も使われていないことも確認し、無効化の損失はゼロと判断
2026-09-16 upstream に PR を提出(再現プロジェクト+2 行の修正+テスト)。メンテナが数時間以内に確認・マージし、同日に 4 つの修正版がリリース
その後 6.9.4 に修正が含まれることを確認。最も影響の大きいサービス(キャッシュ書き込みサービス)に修正 PR を作成。「本番はまず metrics を無効化して止血し、各サービスは再ビルド・再デプロイ時に 6.9.4 へ順次移行する」方針を決定

根本原因

直接原因:ライブラリ内部に「操作ごとに 1 つの metrics コレクタ」を保持するキャッシュがあり、そのキーは「今回の呼び出し」を表すオブジェクトでした。アノテーション経由の呼び出し経路では、インターセプタが呼び出しのたびにこのオブジェクトを新規生成し、しかもこのオブジェクトは equals/hashCode を実装していませんでした。その結果、キャッシュは決してヒットせず、呼び出しごとにエントリが 1 つ追加され、二度と解放されません。同じライブラリの別のキャッシュは操作の安定した名前をキーにしていたため、そちらは有界でした。

なぜ本番まで到達したか:

  1. リークを持ち込んだのは「呼び出し方の書き換え」というリファクタリングで、機能には影響しないため機能テストはすべて通った。
  2. 長時間稼働のソークテストがなかった。リークは数時間〜数日動かして初めて見える。
  3. 多くのサービスの頻繁な再起動が症状を隠していた。再起動が最も少ない場所でしか壁に当たらない。

対応

暫定対応

プラットフォーム共有設定に 1 行追加し、影響サービス全体を一度にカバーします。

smallrye.faulttolerance.metrics.enabled=false

判断の根拠:

  • この metrics は監視システムで参照ゼロ。無効化してもダッシュボードやアラートは壊れない。
  • リトライやサーキットブレーカーなどの Fault Tolerance の機能自体には影響しない。計測しなくなるだけ。
  • 変更は 1 行、ロールバックも 1 行。
  • 実インスタンスで、無効化後にリークが止まることを確認済み。

恒久対応

ビルドで依存関係を強制的に上書きし、Fault Tolerance ライブラリを修正入りのパッチバージョン(6.9.3 → 6.9.4)に上げます。同一バージョンライン内のパッチアップデートなので、フレームワークのバージョンや API の変更は不要で、リスクは最小です。6.9.4 に修正が含まれていることは確認済みで、各サービスは日々の再ビルド・再デプロイに合わせて順次移行します。

調査終了時点のステータス:暫定対応・恒久対応ともに方針が決まり、検証も済んでいます。最も影響の大きいサービスには修正 PR を作成済みです。本番の設定変更と各サービスのアップデートは計画に沿って進行中で、全体の完了時期は本ポストモーテムには記録されていません。

うまくいったこと

  • 「公式で修正済み」を鵜呑みにせず、自分で再現した:リリースノートには「メモリリーク修正」とありましたが、再現してみると修正されていたのは別のリークでした。そこで止まっていたら、リークは残ったまま「もう直っている」と思われていたはずです。
  • 仮説はすべて再現コードのスイッチにした:UUID が原因か、バージョンアップで直るかを、推論ではなく対照実験で答えました。
  • 暫定対応と恒久対応を並行して進めた:暫定対応は upstream に依存せず、恒久対応は暫定対応をブロックしない。
  • 修正を upstream に入れた:根元で直したので、このライブラリの利用者全員が恩恵を受け、自分たちでパッチを持ち続ける必要もなくなりました。

うまくいかなかったこと

  • 初期の報告に誤った結論を 3 つ書いていた(「6.9.0 で修正済み」「UUID が原因」「依存関係を上げれば済む」)。後から一つずつ訂正しました。教訓:結論を報告に書く前に、再現可能な裏付けが必須。
  • 最初の再現は経路を間違えていた(インターセプタ経由ではなく直接呼び出し)ため、「漏れない」という誤った結論が出ました。経路を間違えた再現は、再現がないことより危険です。
  • 慢性的な症状の監視がなかった:時間とともにメモリが単調増加していることは、もっと早く気づけたはずです。

運が良かったこと

  • 落ちたのが再起動で復旧できるバックエンドサービスで、ステートフルなサービスやユーザー向けの中核サービスではなかった。
  • 本番は長期間約 80% の位置にありましたが、上限に当たる前に見つかった。

改善アクション

# アクション 種別 ステータス
1 プラットフォーム設定で Fault Tolerance の metrics を無効化 暫定対応 実インスタンスで検証済み。本番で先行適用する計画
2 ビルドで修正版 6.9.4 を強制し、各サービスを再ビルド・再デプロイ 恒久対応 進行中(最も影響の大きいサービスは修正 PR 作成済み、他は再ビルド・再デプロイに合わせて順次)
3 upstream での修正+回帰テスト(再混入防止) 恒久対応 マージ・リリース済み(smallrye/smallrye-fault-tolerance#1325)
4 「稼働時間に対するメモリの単調増加」アラートを追加(閾値ではなく傾きで判定) 検知 提案
5 共通ライブラリのアップデートや呼び出し方のリファクタリング時に、長時間のソークテストを 1 回挟む 予防 提案
6 JVM のメモリ割合が Dockerfile の ENTRYPOINT(80%)と環境変数(65%)で二重に設定されており、コマンドラインが優先されて実際は 80% だった。設定を 1 か所に統一する 設定の衛生 提案

まとめ

リークの修正自体は 2 行でした。振り返る価値があったのは次の 3 点です。

  • 「もっともらしい」結論は、すべて再現で検証する。
  • 暫定対応と恒久対応は分けて進める。
  • 修正は根元(upstream)に入れる。
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?