サービス復元時間とは

今回は、Four Keysで定義された4つの指標のうち「サービス復元時間」について可視化を行います。最初にパフォーマンスレベルの定義を確認します。

Elite	High	Medium	Low
1時間未満	1日未満	1日～1週間	6か月より多い

DORAの定義ではLowは「6か月より多い」となっていますが、今回はMediumの上限である1週間より多ければLowとする判定ロジックにします。

サービス復元時間は、その名前の通りユーザーに影響を与えるような障害や不具合が発生してから、サービスが復旧するまでの時間です。前回の変更障害率と同じく、サービスが停止したり、エラーが発生したりするような障害であればログ等から容易に判断できますが、そのような機械的な判断が難しい場合は「ユーザーに影響を与える障害・不具合の定義」を定め、それをどの情報から収集するか設計するところから考える必要があります。

私たちのチームでは前回と同じく、問題に対して発生確率や影響度の指標を定め、一定の基準を超えたもの＝ユーザーに影響を与えた問題、と定義することにしました。そのため、Backlogの内容をNewRelicに連携する形で検討します。

前回と同様に本記事ではDORAの定義をそのまま利用しますが、実際のチームに適用する際にはチームの状況にあった定義をあらためて検討しましょう。

Backlogに入力された内容をNewRelicに連携する

BacklogからNewRelicにデータ連携する部分については、前回の変更障害率で連携したBugカスタムイベントの内容をそのまま流用します。
今回はいったん、Backlogのチケットが作られてから閉じられるまでをインシデントの発生から収束までと考えて後続の集計作業を行います。インシデントの内容次第では復旧作業を優先し、その後に管理や記録のためにチケットを残すケースもあると思います。そのためBacklogのチケットをベースに可視化する場合はチケットに発生時刻や対応完了時刻を入力できるようなカスタム属性を追加し、それらに時刻が入力されていたらそちらを優先するようなロジックにしておくとスムーズに運用ができると思います。

NewRelicでパフォーマンスレベルを判定し可視化する

それでは、NewRelicでパフォーマンスレベルを判定した結果を可視化する部分を実装します。改めてNewRelicのクエリビルダーでデータを確認してみます。

SELECT *
FROM Bug
SINCE 3 months ago

以下のようにデータが表示されました。

続けて、同じチケット番号（key_id）のレコードについて FACET を利用してグルーピングした後、latest関数を用いて最終的なチケットの内容を取得するようにします。
また、operated_at と closed_at については earliest関数を用いて最も古い内容を取得するようにします。これは、

最も古い operated_at＝チケットの作成時間＝インシデントの発生時間
最も古い closed_at＝チケットの完了時間＝インシデントの収束時間

とするためです。なお closed_at についてはチケット完了後に何らかの情報更新を行う可能性を考慮し、latestではなくearliestの方を利用しています。
実際のクエリで試してみます。

SELECT
  earliest(operated_at) AS created_at,
  earliest(closed_at) AS closed_at,
  latest(bug_kind) AS bug_kind
FROM Bug
FACET key_id
SINCE 3 months ago

以下のように、key_idでグルーピングしたデータが取得できました！

あとは、ユーザーに影響を与えたインシデントとしている bug_kind=1 でフィルタリングしてから、チケット番号単位に operated_at と closed_at の差分を計算し、全体の平均を取ってからパフォーマンスレベルを判定すれば完成です。最終的には以下のようなクエリとなりました。

SELECT
  if(convert(average(closed_at - created_at), 'second', 'hour') < 1,
    'Elite',
    if(convert(average(closed_at - created_at), 'second', 'day') < 1,
      'High',
      if(convert(average(closed_at - created_at), 'second', 'day') <= 7,
        'Medium',
        'Low'
      )
    )
  )
AS ''
FROM (
  SELECT
    earliest(operated_at) AS created_at,
    earliest(closed_at) AS closed_at,
    latest(bug_kind) AS bug_kind
  FROM Bug
  FACET key_id
)
WHERE bug_kind = 1
SINCE 3 months ago

FROM句で指定しているサブクエリの結果はデフォルトでLIMIT 10の制限がかかっています。そのため、データ量が多い場合はデフォルトのままだと正しい結果にならない場合があるので、必要に応じて LIMIT の値を調整してください。

こちらを実行すると、無事レベルが表示されました！

さいごに

Four Keysの可視化の4回目として、今回はサービス復元時間をNewRelic上で可視化してみました。参考になれば幸いです。
これで全ての可視化が完了しましたが、ここからがスタートです。可視化した内容をもとにチームの状態を客観的に把握し、改善につなげていきたいと思います！