OpenShift Data Foundation (ODF)

Red Hat OpenShift Data Foundation とは

Red Hat® OpenShift® Data Foundation (旧 Red Hat OpenShift Container Storage) は、コンテナ用ソフトウェア・デファインド・ストレージであり、Red Hat OpenShift に緊密に統合されたデータサービスを提供します。Red Hat OpenShift Data Foundation は、クラウド全体でアプリケーションを迅速かつ効率的に開発し、デプロイするのに役立ちます。

Multicloud Object Gateway (MCG)

ここでは、以下のドキュメントに基づいて、AWS 上の OpenShift Container Platform (OCP) IPI/UPI 環境における ODF 4.16.2 の Multicloud Object Gateway (MCG) の実装例をご紹介します。

Multicloud Object Gateway (MCG) は OpenShift の軽量オブジェクトストレージサービスであり、ユーザーは必要に応じて、複数のクラスター、およびクラウドネイティブストレージを使用して、オンプレミスで小規模に開始し、その後にスケーリングできます。

AWS S3 を対象とするアプリケーションまたは AWS S3 Software Development Kit(SDK) を使用するコードを使用して、オブジェクトサービスにアクセスできます。アプリケーションは、Multicloud Object Gateway (MCG) エンドポイント、アクセスキー、およびシークレットアクセスキーを指定する必要があります。ターミナルまたは MCG CLI を使用して、この情報を取得できます。

Accessing the Multicloud Object Gateway from the terminal

ODF を導入した後、OpenShift Data Foundation cluster (StorageSystem CR) を作成した時点で MCG が使用可能になります。MCG の情報は openshift-storage Project に作成される NooBaa CR に登録されています。

$ oc project -q
openshift-storage

$ oc get noobaa -o wide
NAME     S3-ENDPOINTS                     STS-ENDPOINTS                    SYSLOG-ENDPOINTS   IMAGE                                                                                                            PHASE   AGE
noobaa   ["https://99.888.77.72:31372"]   ["https://99.888.77.72:31116"]                      registry.redhat.io/odf4/mcg-core-rhel9@sha256:b93834768ad50a259cabcdefg102930dkbo10d1a65642462e294a347166a87f7   Ready   5d23h

$ oc explain noobaa
GROUP:      noobaa.io
KIND:       NooBaa
VERSION:    v1alpha1

DESCRIPTION:
    NooBaa is the Schema for the NooBaas API

FIELDS:
  apiVersion    <string>
    APIVersion defines the versioned schema of this representation of an object.
    Servers should convert recognized schemas to the latest internal value, and
    may reject unrecognized values. More info:
    https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#resources

  kind  <string>
    Kind is a string value representing the REST resource this object
    represents. Servers may infer this from the endpoint the client submits
    requests to. Cannot be updated. In CamelCase. More info:
    https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#types-kinds

  metadata      <ObjectMeta>
    Standard object's metadata. More info:
    https://git.k8s.io/community/contributors/devel/sig-architecture/api-conventions.md#metadata

  spec  <Object>
    Specification of the desired behavior of the noobaa system.

  status        <Object>
    Most recently observed status of the noobaa system.

oc describe で表示される下記を参照します。

$ oc describe noobaa | awk '/Welcome to NooBaa!/,/^Events:/'
  Welcome to NooBaa!
  -----------------
  NooBaa Core Version:     5.16.2-1c40d7b
  NooBaa Operator Version: 5.16.2

  Lets get started:

  Test S3 client:

    kubectl port-forward -n openshift-storage service/s3 10443:443 &
    NOOBAA_ACCESS_KEY=$(kubectl get secret noobaa-admin -n openshift-storage -o json | jq -r '.data.AWS_ACCESS_KEY_ID|@base64d')
    NOOBAA_SECRET_KEY=$(kubectl get secret noobaa-admin -n openshift-storage -o json | jq -r '.data.AWS_SECRET_ACCESS_KEY|@base64d')
    alias s3='AWS_ACCESS_KEY_ID=$NOOBAA_ACCESS_KEY AWS_SECRET_ACCESS_KEY=$NOOBAA_SECRET_KEY aws --endpoint https://localhost:10443 --no-verify-ssl s3'
    s3 ls


  Services:
    Service Mgmt:
      External DNS:
        https://noobaa-mgmt-openshift-storage.apps.ocp40.mycluster.com:443
      Internal DNS:
        https://noobaa-mgmt.openshift-storage.svc:443
      Internal IP:
        https://444.55.224.215:443
      Node Ports:
        https://99.888.77.72:0
      Pod Ports:
        https://11.222.8.40:8443
    serviceS3:
      External DNS:
        https://s3-openshift-storage.apps.ocp40.mycluster.com:443
        https://a9web1nd90wqlndl7319634ijdlknban-1538916590.us-eastwest-99.elb.amazonaws.com:443
      Internal DNS:
        https://s3.openshift-storage.svc:443
      Internal IP:
        https://444.55.96.92:443
      Node Ports:
        https://99.888.77.72:31372
      Pod Ports:
        https://11.222.8.41:6443
    Service Sts:
      External DNS:
        https://sts-openshift-storage.apps.ocp40.mycluster.com:443
        https://98137ejknbnlds910duoihkeqdknbla3-1697748801.us-eastwest-99.elb.amazonaws.com:443
      Internal DNS:
        https://sts.openshift-storage.svc:443
      Internal IP:
        https://444.55.137.103:443
      Node Ports:
        https://99.888.77.72:31116
      Pod Ports:
        https://11.222.8.41:7443
    Service Syslog:
Events:  <none>

S3 の情報は下記に記載されています。

    serviceS3:
      External DNS:
        https://s3-openshift-storage.apps.ocp40.mycluster.com:443
        https://a9web1nd90wqlndl7319634ijdlknban-1538916590.us-eastwest-99.elb.amazonaws.com:443
      Internal DNS:
        https://s3.openshift-storage.svc:443

External DNS の1行目は OCP Default Router 経由の URL になります。

$ oc get route s3
NAME   HOST/PORT                                       PATH   SERVICES   PORT       TERMINATION       WILDCARD
s3     s3-openshift-storage.apps.ocp40.mycluster.com          s3         s3-https   reencrypt/Allow   None

External DNS の2行目は Service 経由の URL になります。

$ oc get service/s3 -o wide
NAME   TYPE           CLUSTER-IP     EXTERNAL-IP                                                                    PORT(S)                                                    AGE   SELECTOR
s3     LoadBalancer   444.55.96.92   a9web1nd90wqlndl7319634ijdlknban-1538916590.us-eastwest-99.elb.amazonaws.com   80:32566/TCP,443:31372/TCP,8444:32059/TCP,7004:31791/TCP   6d    noobaa-s3=noobaa

LoadBalancer type であるため、LB が AWS 側に作成されます。

$ aws elb describe-load-balancers | jq -r '.LoadBalancerDescriptions[] | select(.DNSName == "a9web1nd90wqlndl7319634ijdlknban-1538916590.us-eastwest-99.elb.amazonaws.com")'
{
  "LoadBalancerName": "a9web1nd90wqlndl7319634ijdlknban",
  "DNSName": "a9web1nd90wqlndl7319634ijdlknban-1538916590.us-eastwest-99.elb.amazonaws.com",
  "CanonicalHostedZoneName": "a9web1nd90wqlndl7319634ijdlknban-1538916590.us-eastwest-99.elb.amazonaws.com",
  "CanonicalHostedZoneNameID": "AZYB2DB",
  "ListenerDescriptions": [
    {
      "Listener": {
        "Protocol": "TCP",
        "LoadBalancerPort": 7004,
        "InstanceProtocol": "TCP",
        "InstancePort": 31791
      },
      "PolicyNames": []
    },
    {
      "Listener": {
        "Protocol": "TCP",
        "LoadBalancerPort": 8444,
        "InstanceProtocol": "TCP",
        "InstancePort": 32059
      },
      "PolicyNames": []
    },
    {
      "Listener": {
        "Protocol": "TCP",
        "LoadBalancerPort": 443,
        "InstanceProtocol": "TCP",
        "InstancePort": 31372
      },
      "PolicyNames": []
    },
    {
      "Listener": {
        "Protocol": "TCP",
        "LoadBalancerPort": 80,
        "InstanceProtocol": "TCP",
        "InstancePort": 32566
      },
      "PolicyNames": []
    }
  ],
～省略～

Service Network 経由でアクセスする場合は Internal DNS が使用可能です。

External DNS Internal DNS に関しては、マニュアルに記載のある通り、通信コストの差異が発生する場合があります。

The output from the oc describe noobaa command lists the internal and external DNS names that are available. When using the internal DNS, the traffic is free. The external DNS uses Load Balancing to process the traffic, and therefore has a cost per hour.

Test S3 client

Test S3 client の手順を確認するために kubectl コマンドの代替に oc コマンドを使用してみます。この手順を実施するためには、あらかじめ aws CLI を使用可能にしておく必要があります。

$ oc port-forward -n openshift-storage service/s3 10443:443 &
[1] 73859
$ Forwarding from 127.0.0.1:10443 -> 6443

$ NOOBAA_ACCESS_KEY=$(oc get secret noobaa-admin -n openshift-storage -o json | jq -r '.data.AWS_ACCESS_KEY_ID|@base64d')
$ echo $NOOBAA_ACCESS_KEY
***********************
$ NOOBAA_SECRET_KEY=$(oc get secret noobaa-admin -n openshift-storage -o json | jq -r '.data.AWS_SECRET_ACCESS_KEY|@base64d')
$ echo $NOOBAA_SECRET_KEY
***********************

$ alias s3='AWS_ACCESS_KEY_ID=$NOOBAA_ACCESS_KEY AWS_SECRET_ACCESS_KEY=$NOOBAA_SECRET_KEY aws --endpoint https://localhost:10443 --no-verify-ssl s3'
$ alias s3
alias s3='AWS_ACCESS_KEY_ID=$NOOBAA_ACCESS_KEY AWS_SECRET_ACCESS_KEY=$NOOBAA_SECRET_KEY aws --endpoint https://localhost:10443 --no-verify-ssl s3'

$ s3 ls
Handling connection for 10443
urllib3/connectionpool.py:1064: InsecureRequestWarning: Unverified HTTPS request is being made to host 'localhost'. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/1.26.x/advanced-usage.html#ssl-warnings
2024-10-31 16:34:08 first.bucket

oc port-forward に Service を指定することで、Internal DNS 経由のアクセスを行います。oc port-forward を使用せずに、alias s3 の --endpoint に External DNS を指定してもアクセス可能です。

alias s3 で設定したコマンドは、Service 経由で以下の Pod 内 endpoint Container の Port 6443 に HTTPS Request を送信することになります。

$ oc get pod noobaa-endpoint-abcdodibnw-98173 -o wide
NAME                               READY   STATUS    RESTARTS   AGE   IP            NODE                                              NOMINATED NODE   READINESS GATES
noobaa-endpoint-abcdodibnw-98173   1/1     Running   0          6d    11.222.8.41   ip-99-888-77-72.us-eastwest-99.compute.internal   <none>           <none>

$ oc exec -ti noobaa-endpoint-abcdodibnw-98173 -- lsof -iTCP -sTCP:LISTEN -P -n
COMMAND PID USER   FD   TYPE   DEVICE SIZE/OFF NODE NAME
noobaa   13 root   19u  IPv6 67834706      0t0  TCP *:8444 (LISTEN)
noobaa   13 root   20u  IPv6 67834707      0t0  TCP *:6001 (LISTEN)
noobaa   13 root   22u  IPv6 67834708      0t0  TCP *:6443 (LISTEN)
noobaa   13 root   23u  IPv6 67834709      0t0  TCP *:7443 (LISTEN)
noobaa   13 root   24u  IPv6 67834710      0t0  TCP *:7004 (LISTEN)

テスト用のファイルを S3 に Upload してみます。

$ touch TEST_FILE.txt

$ s3 cp TEST_FILE.txt s3://first.bucket 2>/dev/null
Handling connection for 10443
upload: ./TEST_FILE.txt to s3://first.bucket/TEST_FILE.txt

$ s3 ls first.bucket 2>/dev/null
Handling connection for 10443
2024-11-06 17:52:45          0 TEST_FILE.txt

以上のように、簡単に S3 を使用する事が出来ます。