こんにちは。InflabでDevOpsエンジニアをしているSunBです。
今年、私たちのチームは、2023年のPulumiによるIaCシステムの定着、2024年のAWS ECS環境の高度化を経て、Kubernetesへのインフラ移行という大きな山を越えました。
単に運用プラットフォームを移しただけではありません。多くの試行錯誤を経てGitOpsやService Meshといったモダンなインフラスタックを導入し、これまで解決が難しかったチーム内の非効率を技術で改善できる、しっかりとした土台を固めた一年でした。
なぜECSを離れてKubernetesへ移行すると決めたのか、そしてサービスを止めずにどう移行したのかなど、お伝えしたい話はたくさんあります。ただ、それらについては今後別の記事で詳しく取り上げることにして、今回はこの変化がもたらした良い結果の一つに焦点を当てたいと思います。
本記事では、こうしたインフラの変化を足がかりに、開発チームの慢性的なボトルネックだったQA環境不足の問題を技術的に解決したPR Preview環境の構築について紹介します。
背景:「開発サーバー、今使っても大丈夫ですか?」
私たちのチームでは、多くの開発者が1つのリポジトリで同時に複数の機能を開発しています。インフラ移行前は、上の図のように、誰もが次のような問題に悩まされていました。
-
QA環境が1つだけ: QA用の環境は、
developブランチがデプロイされる開発環境のたった1つだけでした。 - ボトルネック: 機能Aのテスト中に機能Bをデプロイするには、コンフリクトを解消しながらマージするか、機能Aのテストが終わるまで待ってから上書きする必要がありました。
- 高いコミュニケーションコスト: 結局チームメンバーは、誰がいつ開発環境を使うかを相談しながら、順番にQAをするしかありませんでした。急ぎのテストで既存のデプロイを上書きするときは、その都度了承を得る必要もありました。
こうしたことがあまりにも頻繁に起きるので、下のように「リベースデプロイ」「テストサーバー上書きします」といったSlackの絵文字が作られ、さまざまなチャンネルで日常的に使われていました。
この問題を緩和する試みは、まず開発チーム側で行われていました。フィーチャーフラグを使って1つの環境に複数の機能をデプロイし、利用中にフラグを切り替えて目的の機能を確認するという方法です。
しかし、次のようにフィーチャーフラグでは問題を完全には解消できない状況がありました。
- 機能がさまざまな領域にまたがっていて、フラグで囲むのが難しい場合
- 依存パッケージのバージョンアップなど、サーバーレベルでの入れ替えが必要な場合
こうした状況でもQAのボトルネックをなくすには、インフラレベルでのサポートが不可欠でした。
こうした背景から、私たちはKubernetes導入の議論を始めた2024年末以降、Kubernetesの柔軟性とGitOpsツールを活用して**「PRごとに独立したテスト環境を自動で作ろう」** という目標を立てました。
アーキテクチャと解決のアプローチ
私たちが目指したPR Preview環境の中核となる要件は次のとおりです。
- PRに
previewラベルが付いたら、隔離された環境が自動で作成されること。 - PR環境が多数作成されても、コスト負担が小さいこと。
- 既存の開発環境と同じ方法でアクセスでき、かつ特定のサービスに向かう自分のトラフィックだけが振り分けられること。
これを実現するために、Argo CD ApplicationSetの動的な環境生成機能と、Linkerdのトラフィックルーティング機能を組み合わせました。
1. Argo CD ApplicationSet:動的な環境生成
PRごとに自動で環境を作るには、2つの条件が必要でした。1つ目は必要なときにいつでも量産できる「型(Template)」、2つ目はPRのライフサイクルに合わせて型から環境を作ったり壊したりする「機械(Generator)」です。
私たちは、Helmチャートで各サービスの環境テンプレートを用意し、Argo CD(Kubernetes向けのGitOpsベースの継続的デリバリーツール)のApplicationSet Pull Request Generator を導入しました。
apiVersion: argoproj.io/v1alpha1
kind: ApplicationSet
metadata:
name: pr
spec:
goTemplate: true
generators:
- pullRequest:
github:
owner: # org name
repo: # project repo name
appSecretName: argocd-github-app
labels: # PR Labels Filter
- preview
requeueAfterSeconds: 1800
template:
metadata:
name: "inflearn-courses-fe-pr-{{ .number }}"
labels:
type: pr
spec:
project: default
source:
repoURL: "https://github.com/org/gitops.git" # gitops repo
path: "apps/inflearn/courses-fe/chart"
destination:
namespace: "inflearn"
syncPolicy:
automated: {}
templatePatch: |
{{ $env := eq .target_branch "main" | ternary "prod" "dev" }}
metadata:
annotations:
# Argo CDの通知を受け取るSlackチャンネル
notifications.argoproj.io/subscribe.on-sync-status-unknown.slack: "alarm-course-fe-{{ $env }}-deploy"
notifications.argoproj.io/subscribe.on-sync-failed.slack: "alarm-course-fe-{{ $env }}-deploy"
notifications.argoproj.io/subscribe.on-health-degraded.slack: "alarm-course-fe-{{ $env }}-deploy"
spec:
source:
helm:
releaseName: "inflearn-courses-fe-pr-{{ .number }}"
# グローバル、環境、アプリの順に読み込み、重複がある場合は後のものを優先
valueFiles:
- "/values/values.yaml"
- "/values/{{ $env }}.yaml"
- "/apps/inflearn/courses-fe/{{ $env }}/values.yaml"
valuesObject:
prNumber: "{{ .number }}"
imageTag: "{{ $env }}-{{ .head_short_sha_7 }}"
destination:
# 環境名でクラスターを選択
name: "{{ $env }}"
# 手動のAuto-Sync設定を維持
ignoreApplicationDifferences:
- jsonPointers:
- /spec/syncPolicy
Argo CDはWebhookを通じてGitHubのPRイベントを検知します。むやみにリソースが作成されるのを防ぐため、preview ラベルが付いたPRに対してのみApplicationが作成されるように構成しました。
これで開発者がPRにラベルを付けるだけで、Argo CDが自動で inflearn-courses-fe-pr-<番号> のような名前のApplicationを作成し、デプロイを開始します。
Preview環境は機能テストが目的なので、開発環境や本番環境と同じスペックである必要はありません。Helmテンプレートのロジックを使ってIngressなどの不要なリソースを除外し、PodのリソースとReplicasを最小限まで減らしてコストを最適化しました。
{{- if not .Values.prNumber }}
apiVersion: networking.k8s.io/v1
kind: Ingress
...
{{- define "inflearn-courses-fe.deployment" -}}
{{- $replicas = eq .type "pr" | ternary 1 (int .helm.Values.replicas) -}}
apiVersion: apps/v1
kind: Deployment
...
spec:
replicas: {{ $replicas }}
template:
spec:
containers:
- name: {{ include "inflearn-courses-fe.name" .helm }}
{{- if eq .type "pr" }}
resources:
requests:
cpu: "100m"
memory: "500Mi"
limits:
memory: "500Mi"
...
2. Linkerd HTTPRoute:Cookieベースのトラフィックルーティング
隔離された環境は作れましたが、ユーザーをこの環境にどうアクセスさせるかを考える必要がありました。私たちは次の3つの案を検討しました。
-
サブドメインを分ける:
project-pr-123.inflearn.com -
URLパスを分ける:
www.inflearn.com/project-pr-123/ - Cookieベースのルーティング: 既存のドメインはそのままに、特定のヘッダー(Cookie)の値で振り分ける
1と2の方式の決定的な問題は、「サービス間を移動する際のコンテキストの断絶」 でした。例えば、PR環境のサービスA(a-pr-1.inflearn.com)から本番環境のサービスB(www.inflearn.com)に移動し、再びAに戻ると、ユーザーはPR環境ではなく本番環境のAに戻ってしまいます。これを解決するには、アプリケーションのコードを修正する必要がありました。
最終的に私たちは、アプリケーションを修正せずにインフラレベルで対応できる3のCookieベースのルーティングを選びました。
この実装の要となったのがLinkerd(サイドカーコンテナベースの軽量なサービスメッシュ)です。
当初はingress-nginxを使おうとしましたが、同じHostとPathを持つIngressリソースを重複して作成するとingress-nginxコントローラーでエラーになります。そのため、PR環境を動的にルーティングするには、1つのIngressリソースを修正して複雑なconfiguration-snippetを組むという、曲芸的な設定が必要でした。
一方、Gateway APIのHTTPRouteのようなリソースは、ルーティングルールを複数のリソースに分散して定義することを標準でサポートしています。そのため、既存の設定に手を加えずに、PRごとにルーティング用のリソースを個別に作成・削除できる、はるかに安全な方式で実装できました。
すでにmTLSとモニタリングのためにLinkerdを導入済みだったので、ingress-nginxはそのままにして、LinkerdのTraffic Split機能を使い、次のようにルーティングルールを構成しました。
{{- if .Values.prNumber }}
{{- $fullname := include "inflearn-courses-fe.fullname" . }}
{{- $originalServiceName := mustRegexReplaceAll "^[^-]+-" $fullname "" }}
{{- $cookieName := printf "<redacted>-%s-pr" $fullname }}
apiVersion: policy.linkerd.io/v1beta3
kind: HTTPRoute
metadata:
name: {{ include "inflearn-courses-fe.name" . }}
spec:
parentRefs:
- name: {{ $originalServiceName }}
kind: Service
group: core
port: 80
rules:
- matches:
- headers:
- type: RegularExpression
name: cookie
value: "(^|.*; ){{ $cookieName }}={{ .Values.prNumber }}(;.*|$)"
backendRefs:
- name: {{ include "inflearn-courses-fe.name" . }}
port: 80
- backendRefs:
- name: {{ $originalServiceName }}
port: 80
{{- end }}
このようにHTTPRouteリソースには、特定のヘッダー(Cookie)を持つリクエストを対応するPR PreviewのServiceへ向けるルーティングルールを定義しました。これにより、PR Preview環境が複数動いていても、pr=101、pr=102 などCookieの値ごとに別のHTTPRouteが適用され、正しくルーティングされます。
この構成のおかげで、チームメンバーはブラウザ拡張機能(Cookie-Editor)や社内ユーティリティでPR番号のCookieを設定するだけで、普段使っているURLのままテストしたいPR環境にアクセスできるようになりました。
結果:ボトルネックの解消
これらの取り組みによって、QAのボトルネックを次のように解消できました。
- 並行してQAが可能に: 10個の機能が同時に開発されていても、10個の独立したテスト環境が動きます。
- コミュニケーションコストの削減: 「今デプロイしても大丈夫ですか?」と聞く必要がなくなりました。ラベルを付けるだけです。
おわりに
GitOpsとService Meshを活用してPR Preview環境を構築し、チーム内の非効率を改善した方法を簡単に紹介しました。メンバーがより早く結果を確認し、フィードバックをやり取りできるようになったことが、最終的にはより良いプロダクトにつながると考えています。
今年からは、この2年間の準備を足がかりに、IaCのような基盤がなければ不可能だったさまざまな取り組みを進めていく予定です。
これは、2024年2月に書いたInflabのIaC構築記(Part 1)の最後の段落でお伝えした内容です。
それから1年10か月ほどが経ちました。実際にIaCを基盤として多くの試みや作業を実現でき、そのおかげで少しずつ、より柔軟で自動化されたシステムを作ってこられたと感じています。
私たちはここで立ち止まらず、可観測性やデータに基づく運用など、以前から計画してきた次の段階の改善を準備しています。これまでと同じく、技術そのものよりもチームがより良いプロダクトに集中できる環境を作ることを最優先の目標に、これからも前進していきます。
ありがとうございました。
※この記事は2025年11月25日に執筆されたものです。







