Go to Qiita Advent Calendar 2024 Top
LoginSignup
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@ShuA

Pub/Subのスキーマ

Last updated at Posted at 2024-05-21

Pub/Subのスキーマとは

Google CloudのメッセージングサービスPub/Subは、オプションでトピックにスキーマを適用することができます。スキーマを適用した場合、スキーマに準拠しないメッセージの公開を制限します。また、スキーマは変更があるとリビジョンをとることができ、複数のリビジョンを同時にトピックに関連付ける事ができます。一方で、スキーマで定義されたフィールド以外のデータ入っていても公開できたりするので、実際の様子を見てみたいと思います。

スキーマの作成

コンソールからスキーマは作成できます。スキーマの定義は、Apache AVROかプロトコルバッファーでできます。ここでは、personというスキーマを作成し、フィールドにNameとAgeを持ちます。

Screenshot 2024-05-21 at 17.31.04.png

そして、トピックにスキーマを適用できます。トピックの作成や編集時に、スキーマを使用するを選択し、対象のスキーマを選びます。

Screenshot 2024-05-21 at 17.32.40.png

以上です。簡単ですね。

メッセージを公開してみる

まずは、スキーマ通りのメッセージを投げ込んでみます。コンソールでもできますが、コマンドで実行します。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Taro", "Age": 3}'
messageIds:
- '11327282810297513'

特にエラーなく、メッセージIDが返ってきました。次にサブスクリプションから取得してみます。

$ gcloud pubsub subscriptions pull projects/$(gcloud config get-value project)/subscriptions/schema-changing-test-sub --format="value(message.data)" --auto-ack | jq
{
  "Name": "Taro",
  "Age": 3
}

取れました。ま、これは当たり前ですね。

スキーマに定義されているフィールドを含めて公開してみる

次にAgeを含まないメッセージをトピックに投げ込んでみます。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Jiro"}'
ERROR: (gcloud.pubsub.topics.publish) INVALID_ARGUMENT: Invalid data in message: Message failed schema validation.
- '@type': type.googleapis.com/google.rpc.ErrorInfo
  domain: pubsub.googleapis.com
  metadata:
    message: Message failed schema validation
    revisionInfo: 'Could not validate message with any schema revision for schema:
      projects/111111111/schemas/person, last checked revision: revision_id=df0473fb
      failed with status: Invalid data in message: Field was not found in JSON object:
      Age.'
  reason: INVALID_JSON_AVRO_MESSAGE

Jiroは怒られました。Ageがないよと。ちゃんとチェックしてくれていますね。

スキーマにないフィールドを一部含めずにメッセージを公開してみる

では、スキーマにないフィールドが投げ込まれたときもちゃんと拒否されるでしょうか。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Sabro", "Age": 21, "Gender": "Male"}'
messageIds:
- '11327344946086872'

普通に通っちゃいました。そして下記の通りサブスクライバーからも見えます。

$ gcloud pubsub subscriptions pull projects/$(gcloud config get-value project)/subscriptions/schema-changing-test-sub --format="value(message.data)" --auto-ack | jq
{
  "Name": "Sabro",
  "Age": 21,
  "Gender": "Male"
}

つまり、余計なものは許可されます。

スキーマを変更してみる（初期フィールドの削除）

フィールドの削除をコンソールから行います。スキーマを開いてリビジョンの作成とすると下記のように編集できます。

Screenshot 2024-05-21 at 17.48.17.png

ところが、確定しようとしたら怒られました。オプションじゃないフィールドは消せないと。

Screenshot 2024-05-21 at 17.48.59.png

スキーマを変更してみる（フィールドの追加）

であれば、追加してみます。

Screenshot 2024-05-21 at 17.51.34.png

が、また怒られました。これもオプションじゃないフィールドだからとのこと。

Screenshot 2024-05-21 at 17.52.16.png

オプションフィールドとするにはdefaultを設定すれば良さそうです。

Screenshot 2024-05-21 at 17.57.58.png

そしてこれは無事成功しました。するとこんな感じでリビジョンができます。

Screenshot 2024-05-21 at 17.58.44.png

スキーマに追加したフィールドを含めずにメッセージを公開してみる

まずは、新しいスキーマのみをトピックに適用します。次のように、トピックの編集でリビジョンの範囲を最新のリビジョンのみになるようにします。

Screenshot 2024-05-21 at 18.02.02.png

反映にはすこし時間がかかるようなので数分待ってから、まずは普通にスキーマにあるフィールドを全部含めたメッセージを公開します。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Shiro", "Age": 23, "Gender": "
Male"}'
messageIds:
- '11327883030332909'

$ gcloud pubsub subscriptions pull projects/$(gcloud config get-value project)/subscriptions/schema-changing-test-sub --format="value(message.data)" --auto-ack | jq
{
  "Name": "Shiro",
  "Age": 23,
  "Gender": "Male"
}

これはいけます。では、Genderを削ってみます。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Shiro", "Age": 23}'
ERROR: (gcloud.pubsub.topics.publish) INVALID_ARGUMENT: Invalid data in message: Message failed schema validation.
- '@type': type.googleapis.com/google.rpc.ErrorInfo
  domain: pubsub.googleapis.com
  metadata:
    message: Message failed schema validation
    revisionInfo: 'Could not validate message with any schema revision for schema:
      projects/111111111111/schemas/person, last checked revision: revision_id=e9712880
      failed with status: Invalid data in message: Field was not found in JSON object:
      Gender.'
  reason: INVALID_JSON_AVRO_MESSAGE

はじかれました。

初期作成時にAgeにdefaultつけてみる

では、はじめに作る際にdefaultつけるとどうでしょうか。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Goro"}'
ERROR: (gcloud.pubsub.topics.publish) INVALID_ARGUMENT: Invalid data in message: Message failed schema validation.
- '@type': type.googleapis.com/google.rpc.ErrorInfo
  domain: pubsub.googleapis.com
  metadata:
    message: Message failed schema validation
    revisionInfo: 'Could not validate message with any schema revision for schema:
      projects/111111111111/schemas/person, last checked revision: revision_id=23f1cb3a
      failed with status: Invalid data in message: Field was not found in JSON object:
      Age.'
  reason: INVALID_JSON_AVRO_MESSAGE

ま、ここは同じく弾かれますね。ただ、Ageを消すことはできました。

Screenshot 2024-05-21 at 18.23.24.png

そして、Nameだけで公開できました。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Goro"}'
messageIds:
- '11327997684512795'

複数のリビジョンを適用してみる

では、最後にこれまで単一のリビジョンをトピックに当ててきましたが、複数のリビジョンを当てるとどうなるか見てみます。スキーマの変更が発生して移行期間などこういう状態が考えられます。

まずトピックの編集でリビジョンの範囲の指定で異なるリビジョンを指定します。

Screenshot 2024-05-21 at 18.44.42.png

これでどちらのスキーマのメッセージも通るはずです。つまり、先程までGenderがないと怒られましたが、許してくれるようになるはずです。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Tokuro", "Age": 42}'
messageIds:
- '11327156735462791'

いけましたね。

記録のため、他に色々試しておきます。

$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Tokuro"}'                     
ERROR: (gcloud.pubsub.topics.publish) INVALID_ARGUMENT: Invalid data in message: Message failed schema validation.
- '@type': type.googleapis.com/google.rpc.ErrorInfo
  domain: pubsub.googleapis.com
  metadata:
    message: Message failed schema validation
    revisionInfo: 'Could not validate message with any schema revision for schema:
      projects/111111111111/schemas/person, last checked revision: revision_id=2443500c
      failed with status: Invalid data in message: Field was not found in JSON object:
      Age.'
  reason: INVALID_JSON_AVRO_MESSAGE


$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Tokuro", "Age": 42, "Gender": "Female"}'                                                                                                                                              
messageIds:
- '11328254979892295'


$ gcloud pubsub topics publish schema-changing-test --message='{"Name": "Tokuro", "Age": 42, "Gender": "Female", "BloodType": "A"}'
messageIds:
- '11328291513640241'

まとめ

  • スキーマで定義されたフィールドがメッセージにないと公開できない
  • スキーマに無いフィールドが入っていても公開できるし、サブスクライバーもそれを受け取れる
  • スキーマ作成時にdefaultをつけたフィールドはあとから削除できる
  • 逆に、defaultのない初期フィールドはあとから削除できない
  • defaultをつけないとあとからフィールドを追加できない
  • リビジョンの範囲を指定して、複数リビジョンを適用することで、複数のスキーマに準拠したメッセージを同時に許可できる
0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?