はじめに
キューを消費してキャッシュに書き込むバックエンドサービスが遅くなり、メモリが下がらず、何度か OOM で落ちました。調べていくと、原因はそのサービス固有の問題ではなく、Quarkus の下で動いている Fault Tolerance ライブラリ(SmallRye Fault Tolerance)の不具合でした。
本記事は、この件をポストモーテムのテンプレートに沿って整理したものです。調査中の試行錯誤よりも、事実・判断・改善アクションに重点を置いています。
本ポストモーテムは無責(blameless)の原則に従います。議論の対象はシステムとプロセスであり、個人ではありません。
結論
- SmallRye Fault Tolerance は metrics 有効時、アノテーション経由の呼び出しで1 呼び出しにつき 1 オブジェクトがリークしていた(キャッシュのキーが毎回新規生成されるオブジェクトの同一性だった)。
- 暫定対応は共有設定 1 行
smallrye.faulttolerance.metrics.enabled=false。この metrics はどこからも参照されておらず、無効化による損失はゼロ。 - 恒久対応として upstream に修正 PR を出し、当日中にマージ・4 つのバージョンライン(6.9.4 / 6.10.2 / 6.11.4 / 7.0.0)でリリースされた。
概要
| 項目 | 内容 |
|---|---|
| 事象 | キューを消費しキャッシュに書き込むバックエンドサービスが遅延し、メモリが高止まり、何度か OOM |
| 根本原因 | Fault Tolerance ライブラリ(SmallRye Fault Tolerance)で metrics 有効時、呼び出しごとに 1 オブジェクトがリーク。キャッシュのキーがオブジェクトの同一性で、しかもそのオブジェクトが毎回新規生成されていた |
| 影響範囲 | ステージング環境の Java サービス 81 個をスキャンし、41 個でリークを確認。本番の同一サービスはメモリが上限の約 80% に張り付いていた |
| ユーザー影響 | 本番でユーザーから見える影響は記録されていない。ただし上限近くで動き続けており、臨界状態だった |
| 暫定対応 | プラットフォーム共有設定で Fault Tolerance の metrics を無効化(1 行で影響サービス全体をカバー。実インスタンスで効果を確認済み) |
| 恒久対応 | ライブラリの不具合を特定し upstream に修正を提出。当日マージ、4 バージョンラインでリリース。各サービスは再ビルド・再デプロイに合わせて修正版へ順次移行する計画 |
| 筆者の役割 | ヒープ分析、最小再現の作成、根本原因の特定、影響範囲の評価、暫定対応の提案、upstream への修正提出 |
影響
-
範囲:特定のサービスではなく、共通ライブラリの 1 つの呼び出し経路の問題です。アノテーション(
@ApplyGuardなど)で Fault Tolerance のポリシーを適用しているサービスはすべて漏れます。ステージングの Java サービス 81 個中 41 個でリークを確認し、ひどいものではリークしたオブジェクトが 30 万〜96 万個に達していました。 - なぜ 1 サービスだけが落ちたのか:これはリークの速度と再起動の頻度の競争です。多くのサービスはリリース、オートスケール、ノード入れ替えで頻繁に再起動されるため、溜まりきる前にリセットされます。スループットが最も高く、再起動の間にヒープを埋め切れるサービスだけが負けました。
- 潜在リスクのほうが大きい:本番の同一サービスはほとんど再起動されないため、メモリは上限の約 80% に常に張り付いていました。一方、頻繁に再スケジュールされるステージングでは約 35% でした。一番安定して見える環境が、実は一番壁に近かったということです。
- ユーザー影響:本番でユーザーから見える影響は記録されていません。ただ上限近くで動き続けており、まだ壁に当たっていなかっただけです。
検知
- どう見つかったか:サービスの遅延、メモリが下がらない、OOM の発生を受けて、チャットで同僚が「データ量が増えた?」と聞いたのが始まりです。つまりアラートではなく人が先に気づきました。
- 監視のギャップ:メモリ使用率はずっと上がり続けていましたが、「稼働時間に対してメモリが単調増加している」ことを検知するアラートはありませんでした(OOM が起きて初めて見える)。リークは慢性的な症状で、閾値ベースの瞬間的なアラートでは捉えられません。
タイムライン
確定した日付が残っているのは主要なイベントのみです。日付の記録がないイベントは発生順に並べています。
| 時期 | 出来事 |
|---|---|
| 約 8 か月前 | リファクタリングで「宣言的リトライ」から「アノテーションによる Fault Tolerance 適用」に変更。リークする呼び出し経路が入った(事後に git blame で確認) |
| 調査開始 | キャッシュ書き込みサービスが遅延・OOM。チャットでの質問をきっかけに調査開始 |
| その後 | 稼働中の Pod からヒープヒストグラムを取得。保護対象のメソッドは 7 個なのに、計測用ラッパーオブジェクトは 31 万個あり増え続けていた。Fault Tolerance の metrics に絞り込む |
| その後 | 誤った仮説 3 つ(「新しいバージョンで修正済み」「ランダム UUID が原因」「シングルトンが呼び出しごとに漏れるはずがない」)を、それぞれ最小再現で検証して否定 |
| 2026-09-16 | 本物の CDI コンテナで再現。呼び出し回数とリークしたオブジェクト数が厳密に 1:1。逆コンパイルでキャッシュキーの誤りを特定し、最新版でも未修正であることを確認 |
| 2026-09-16 | 81 サービスをスキャンし 41 個が影響ありと確認。プラットフォームレベルの暫定対応(metrics 無効化)を提案し、実インスタンスで効果を確認。この metrics がマネージド Prometheus で一度も使われていないことも確認し、無効化の損失はゼロと判断 |
| 2026-09-16 | upstream に PR を提出(再現プロジェクト+2 行の修正+テスト)。メンテナが数時間以内に確認・マージし、同日に 4 つの修正版がリリース |
| その後 | 6.9.4 に修正が含まれることを確認。最も影響の大きいサービス(キャッシュ書き込みサービス)に修正 PR を作成。「本番はまず metrics を無効化して止血し、各サービスは再ビルド・再デプロイ時に 6.9.4 へ順次移行する」方針を決定 |
根本原因
直接原因:ライブラリ内部に「操作ごとに 1 つの metrics コレクタ」を保持するキャッシュがあり、そのキーは「今回の呼び出し」を表すオブジェクトでした。アノテーション経由の呼び出し経路では、インターセプタが呼び出しのたびにこのオブジェクトを新規生成し、しかもこのオブジェクトは equals/hashCode を実装していませんでした。その結果、キャッシュは決してヒットせず、呼び出しごとにエントリが 1 つ追加され、二度と解放されません。同じライブラリの別のキャッシュは操作の安定した名前をキーにしていたため、そちらは有界でした。
なぜ本番まで到達したか:
- リークを持ち込んだのは「呼び出し方の書き換え」というリファクタリングで、機能には影響しないため機能テストはすべて通った。
- 長時間稼働のソークテストがなかった。リークは数時間〜数日動かして初めて見える。
- 多くのサービスの頻繁な再起動が症状を隠していた。再起動が最も少ない場所でしか壁に当たらない。
対応
暫定対応
プラットフォーム共有設定に 1 行追加し、影響サービス全体を一度にカバーします。
smallrye.faulttolerance.metrics.enabled=false
判断の根拠:
- この metrics は監視システムで参照ゼロ。無効化してもダッシュボードやアラートは壊れない。
- リトライやサーキットブレーカーなどの Fault Tolerance の機能自体には影響しない。計測しなくなるだけ。
- 変更は 1 行、ロールバックも 1 行。
- 実インスタンスで、無効化後にリークが止まることを確認済み。
恒久対応
ビルドで依存関係を強制的に上書きし、Fault Tolerance ライブラリを修正入りのパッチバージョン(6.9.3 → 6.9.4)に上げます。同一バージョンライン内のパッチアップデートなので、フレームワークのバージョンや API の変更は不要で、リスクは最小です。6.9.4 に修正が含まれていることは確認済みで、各サービスは日々の再ビルド・再デプロイに合わせて順次移行します。
調査終了時点のステータス:暫定対応・恒久対応ともに方針が決まり、検証も済んでいます。最も影響の大きいサービスには修正 PR を作成済みです。本番の設定変更と各サービスのアップデートは計画に沿って進行中で、全体の完了時期は本ポストモーテムには記録されていません。
うまくいったこと
- 「公式で修正済み」を鵜呑みにせず、自分で再現した:リリースノートには「メモリリーク修正」とありましたが、再現してみると修正されていたのは別のリークでした。そこで止まっていたら、リークは残ったまま「もう直っている」と思われていたはずです。
- 仮説はすべて再現コードのスイッチにした:UUID が原因か、バージョンアップで直るかを、推論ではなく対照実験で答えました。
- 暫定対応と恒久対応を並行して進めた:暫定対応は upstream に依存せず、恒久対応は暫定対応をブロックしない。
- 修正を upstream に入れた:根元で直したので、このライブラリの利用者全員が恩恵を受け、自分たちでパッチを持ち続ける必要もなくなりました。
うまくいかなかったこと
- 初期の報告に誤った結論を 3 つ書いていた(「6.9.0 で修正済み」「UUID が原因」「依存関係を上げれば済む」)。後から一つずつ訂正しました。教訓:結論を報告に書く前に、再現可能な裏付けが必須。
- 最初の再現は経路を間違えていた(インターセプタ経由ではなく直接呼び出し)ため、「漏れない」という誤った結論が出ました。経路を間違えた再現は、再現がないことより危険です。
- 慢性的な症状の監視がなかった:時間とともにメモリが単調増加していることは、もっと早く気づけたはずです。
運が良かったこと
- 落ちたのが再起動で復旧できるバックエンドサービスで、ステートフルなサービスやユーザー向けの中核サービスではなかった。
- 本番は長期間約 80% の位置にありましたが、上限に当たる前に見つかった。
改善アクション
| # | アクション | 種別 | ステータス |
|---|---|---|---|
| 1 | プラットフォーム設定で Fault Tolerance の metrics を無効化 | 暫定対応 | 実インスタンスで検証済み。本番で先行適用する計画 |
| 2 | ビルドで修正版 6.9.4 を強制し、各サービスを再ビルド・再デプロイ | 恒久対応 | 進行中(最も影響の大きいサービスは修正 PR 作成済み、他は再ビルド・再デプロイに合わせて順次) |
| 3 | upstream での修正+回帰テスト(再混入防止) | 恒久対応 | マージ・リリース済み(smallrye/smallrye-fault-tolerance#1325) |
| 4 | 「稼働時間に対するメモリの単調増加」アラートを追加(閾値ではなく傾きで判定) | 検知 | 提案 |
| 5 | 共通ライブラリのアップデートや呼び出し方のリファクタリング時に、長時間のソークテストを 1 回挟む | 予防 | 提案 |
| 6 | JVM のメモリ割合が Dockerfile の ENTRYPOINT(80%)と環境変数(65%)で二重に設定されており、コマンドラインが優先されて実際は 80% だった。設定を 1 か所に統一する | 設定の衛生 | 提案 |
まとめ
リークの修正自体は 2 行でした。振り返る価値があったのは次の 3 点です。
- 「もっともらしい」結論は、すべて再現で検証する。
- 暫定対応と恒久対応は分けて進める。
- 修正は根元(upstream)に入れる。