More than 5 years have passed since last update.

Azure Kubernetes Service(AKS)にLet's EncryptのSSL証明書を入れる

Posted at 2019-05-03

元ネタ

Azure Kubernetes Service (AKS) の静的パブリック IP アドレスを使用してイングレスコントローラーを作成する

準備

Azure Kubernetes Service(AKS)を使って、K8sクラスタを作成する
- Helmをクライアントに入れて、サーバ側にtillerを入れるところまで。
  - RBAC が有効になっているクラスタ。

注意

静的パブリック IP アドレスは、お金がかかる
- パブリック IP アドレスの料金のページを参照。
  - 最初の 5 つは0.5円/時間ぐらい(2019-04-29現在)。0.5円24時間30.5日=366円/月ぐらいか。
AKS クラスターを削除すると、静的パブリック IP アドレスも解放されて消えてしまうので注意。

静的IPアドレスを取得する

AKS クラスターのリソースグループ名を取得
- AKS_NODE_RES_GROUP=`az aks show --resource-group $AKS_RES_GROUP --name $AKS_CLUSTER_NAME --query nodeResourceGroup -o tsv`
静的パブリック IP アドレスを作成
- az network public-ip create --resource-group $AKS_NODE_RES_GROUP --name myAKSPublicIP --allocation-method static
  - 上記では名前をmyAKSPublicIPにしているが、適宜変更。
作成した静的パブリック IP アドレスを確認
- az network public-ip list --query [].ipAddress
  - 複数ある場合は、後々の設定でハマるので、ポータルから「パブリック IP アドレス」で探して削除する。
- PUBLIC_IP_ADDRESS=`az network public-ip list --query [].ipAddress -o tsv`

nginx-ingress をIPアドレス指定でインストール

インストール
- namespaceをkube-systemにしている。サンプルによってはkube-publicにしている場合もあるので注意。

helm install stable/nginx-ingress \
    --namespace kube-system \
    --set controller.service.loadBalancerIP=$PUBLIC_IP_ADDRESS

パブリックIPを確認
- kubectl get service -l app=nginx-ingress --namespace kube-system
  - EXTERNAL-IPが<pending>の場合は、少し待つ。

NAME                                             TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)                      AGE
excited-starfish-nginx-ingress-controller        LoadBalancer   10.0.14.43     40.115.xxx.xxx   80:30202/TCP,443:31925/TCP   1m
excited-starfish-nginx-ingress-default-backend   ClusterIP      10.0.121.158   <none>          80/TCP                       1m

ブラウザで、上記の40.115.xxx.xxxにアクセスする
- default backend - 404のように、デフォルトの404ページが表示される(起動に数分かかるので待つ)

DNS上の名前を決めて、設定

DNSNAME="my-aks-ingress-test123"
PUBLICIPID=$(az network public-ip list --query "[?ipAddress!=null]|[?contains(ipAddress, '$PUBLIC_IP_ADDRESS')].[id]" --output tsv)
az network public-ip update --ids $PUBLICIPID --dns-name $DNSNAME
これでFQDNを使ってアクセスできるようになったので、ブラウザで開いて確認する
- http://my-aks-ingress-test123.japaneast.cloudapp.azure.com/
  - default backend - 404が出ればOK。

cert-manager をインストール

Let's Encrypt 証明書を自動的に作成および管理する機能を提供する cert-manager を入れる
- 0.7.2が出ているので、0.6ではなく0.7を使う。
  - kubectl apply -f https://raw.githubusercontent.com/jetstack/cert-manager/release-0.7/deploy/manifests/00-crds.yaml
- cert-manager用に名前空間を作成(kube-systemではなくcert-managerという名前空間に入れる)
  - kubectl create namespace cert-manager
  - kubectl label namespace cert-manager certmanager.k8s.io/disable-validation=true
    - disable-validation=trueを付けないと発行者が不明になって証明書が作成されない？？
- helmを使ってインストールする(GitHubのcert-managerのページを見ると0.7.2が最新なのでバージョン指定する際は確認する)
  - helm repo add jetstack https://charts.jetstack.io
  - helm repo update

helm install \
  --name cert-manager \
  --namespace cert-manager \
  --version v0.7.2 \
  jetstack/cert-manager

~~本番環境の場合は、--set ingressShim.extraArgs='{--default-issuer-name=letsencrypt-prod,--default-issuer-kind=ClusterIssuer}' も付ける。~~
- 下記の例では名前空間kube-systemに入れている
- ~~webhook.enables=false を書かないと証明書が発行されないという情報もあるので追記~~
- stable/cert-managerだとうまくいかなかったのでjetstack/cert-managerを使った
上記で証明書を入れられたので、下記は参考。

helm install jetstack/cert-manager \
  --name cert-manager \
  --namespace kube-system \
  --set ingressShim.defaultIssuerName=letsencrypt-prod \
  --set ingressShim.defaultIssuerKind=ClusterIssuer \
  --set webhook.enabled=false

入れ間違えたら、helm delete --purge cert-managerで消して入れ直し。
- Error: customresourcedefinitions.apiextensions.k8s.io "certificates.certmanager.k8s.io" already exists の場合は、kubectl delete -f https://raw.githubusercontent.com/jetstack/cert-manager/release-0.7/deploy/manifests/00-crds.yaml で消す
これだけで(信頼されない)証明書が発行されるので、ブラウザでHTTPSで接続して確認する
- https://my-aks-ingress-test123.japaneast.cloudapp.azure.com/
  - 信頼されない証明書の警告がでるので、適宜スルーする
  - Common NameはKubernetes Ingress Controller Fake Certificateになる

CA クラスター発行者を作成

cluster-issuer.yamlファイルを以下の内容で作成
emailを、実際のメールアドレスに変更する
テスト用なので、stagingを使用する。本番環境ではletsencrypt-prod と https://acme-v02.api.letsencrypt.org/directory を使用する
- サーバはv01ではなくv02を使わないと、ずっとIssuer letsencrypt-staging not readyのままで原因が分かりづらい。
  - kubectl describe clusterissuer letsencrypt-stagingやkubectl describe clusterissuer letsencrypt-prodで状況を確認。

apiVersion: certmanager.k8s.io/v1alpha1
kind: ClusterIssuer
metadata:
  name: letsencrypt-staging
  #name: letsencrypt-prod
spec:
  acme:
    server: https://acme-staging-v02.api.letsencrypt.org/directory
    #server: https://acme-v02.api.letsencrypt.org/directory
    email: user@example.com
    privateKeySecretRef:
      name: letsencrypt-staging
      #name: letsencrypt-prod
    http01: {}

kubectl apply -f cluster-issuer.yaml で適用
- Error from server (InternalError): error when creating "cluster-issuer.yaml": Internal error occurred: failed calling admission webhook "clusterissuers.admission.certmanager.k8s.io": the server is currently unable to handle the request と表示されたら、しばらく待ってもう一度行う

デモアプリを入れる

デフォルトの404ページで動作確認しようとしてはまったので、デモアプリを入れる
- helm repo add azure-samples https://azure-samples.github.io/helm-charts/
- helm install azure-samples/aks-helloworld --namespace ingress-basic
- helm list --namespace ingress-basic
- helm install azure-samples/aks-helloworld --namespace ingress-basic --set title="AKS Ingress Demo" --set serviceName="ingress-demo"
- helm list --namespace ingress-basic

イングレスルートを作成

hello-world-ingress.yaml を以下で作成
hostsやhostは自分のホスト名に変更する

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: hello-world-ingress
  namespace: ingress-basic
  annotations:
    kubernetes.io/ingress.class: nginx
    certmanager.k8s.io/cluster-issuer: letsencrypt-prod
    nginx.ingress.kubernetes.io/rewrite-target: /
spec:
  tls:
  - hosts:
    - my-aks-ingress-test123.japaneast.cloudapp.azure.com
    secretName: tls-secret
  rules:
  - host: my-aks-ingress-test123.japaneast.cloudapp.azure.com
    http:
      paths:
      - path: /
        backend:
          serviceName: aks-helloworld
          servicePort: 80
      - path: /hello-world-two
        backend:
          serviceName: ingress-demo
          servicePort: 80

kubectl apply -f hello-world-ingress.yamlで適用

証明書の確認

上記で自動的に要求される
- kubectl describe certificate tls-secret --namespace ingress-basic
- kubectl describe certificate tls-secret
- kubectl describe certificate で状況確認
  - OrderCreated が無ければ、cert-manager の証明書についてのページやOrdersを見ながら、証明書を要求
- kubectl describe order
- ずっとIssuer letsencrypt-prod not readyのままの場合、kubectl describe clusterissuer letsencrypt-stagingやkubectl describe clusterissuer letsencrypt-prodで状況を確認。
  - 引数はcluster-issuerではなくclusterissuerなので注意
kubectl describe clusterissuer letsencrypt-prod で状態が表示できる

(略)
Status:
  Acme:
    Uri:  https://acme-v02.api.letsencrypt.org/acme/acct/56269408
  Conditions:
    Last Transition Time:  2019-05-02T07:29:25Z
    Message:               The ACME account was registered with the ACME server
    Reason:                ACMEAccountRegistered
    Status:                True
    Type:                  Ready
Events:                    <none>

kubectl describe certificate tls-secret --namespace ingress-basic で以下のようにイベント詳細が表示できる

(略)
Status:
  Conditions:
    Last Transition Time:  2019-05-02T07:29:51Z
    Message:               Certificate is up to date and has not expired
    Reason:                Ready
    Status:                True
    Type:                  Ready
  Not After:               2019-07-31T06:29:50Z
Events:
  Type     Reason              Age                    From          Message
  ----     ------              ----                   ----          -------
  Warning  IssuerNotFound      3m44s                  cert-manager  clusterissuer.certmanager.k8s.io "letsencrypt-prod" not found
  Warning  IssuerNotReady      3m28s (x3 over 7m31s)  cert-manager  Issuer letsencrypt-prod not ready
  Normal   Generated           3m27s                  cert-manager  Generated new private key
  Normal   GenerateSelfSigned  3m27s                  cert-manager  Generated temporary self signed certificate
  Normal   OrderCreated        3m27s                  cert-manager  Created Order resource "tls-secret-224255xxxx"
  Normal   OrderComplete       3m1s                   cert-manager  Order "tls-secret-224255xxxx" completed successfully
  Normal   CertIssued          3m1s                   cert-manager  Certificate issued successfully

ステータスがCertificate issuance in progress. Temporary certificate issued.の場合は、しばらく待つ。
- Temporary certificateが発行されてから、本物のcertificateが発行される。という順番なので、ステータスで確認。
chromeの開発者ツールのSecurityで見ると、Certificate - valid and trusted の下に The connection to this site is using a valid, trusted server certificate issued by 不明な名前.となっている場合がある。対処方法不明。

ブラウザで表示して、証明書の確認

https://my-aks-ingress-test123.japaneast.cloudapp.azure.com のように、HTTPSでつないで、証明書の確認
- Common Name(CN)が、my-aks-ingress-test123.japaneast.cloudapp.azure.com のように、自分のホスト名になる。
https://my-aks-ingress-test123.japaneast.cloudapp.azure.com/hello-world-two では、2つ目のデモアプリ(画像と文言が少し違う)が表示される

証明書オブジェクトを作成(必要に応じて)

certificates.yamlファイルを以下の内容で作成。
dnsNames と domains を前の手順で作成した DNS 名に変更する

apiVersion: certmanager.k8s.io/v1alpha1
kind: Certificate
metadata:
  name: tls-secret
spec:
  secretName: tls-secret
  dnsNames:
  - my-aks-ingress-test123.japaneast.cloudapp.azure.com
  acme:
    config:
    - http01:
        ingressClass: nginx
      domains:
      - my-aks-ingress-test123.japaneast.cloudapp.azure.com
  issuerRef:
    name: letsencrypt-staging
    #name: letsencrypt-prod
    kind: ClusterIssuer

kubectl apply -f certificates.yamlで適用。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up

Azure Kubernetes Service(AKS)にLet's EncryptのSSL証明書を入れる

元ネタ

準備

注意

静的IPアドレスを取得する

nginx-ingress をIPアドレス指定でインストール

DNS上の名前を決めて、設定

cert-manager をインストール

CA クラスター発行者を作成

デモ アプリを入れる

イングレス ルートを作成

証明書の確認

ブラウザで表示して、証明書の確認

証明書オブジェクトを作成(必要に応じて)

デモアプリを入れる

イングレスルートを作成