課題

DynamoDB で時系列データを扱うときに参考になる記事は、まず DynamoDB で時系列データを処理するベストプラクティスですが、降順にデータを取り出そうとするとパーティションキーを指定する必要があり、クエリ実行にひと手間必要です。

Primary Key		Attributes
Partition Key	Sort Key	Attr1	Attr2	...
2024-01-01	00:00:00.000	...	...	...
2024-01-01	00:00:01.000	...	...	...
2024-01-02	00:00:00.000	...	...	...
2024-01-02	00:00:01.000	...	...	...
...	...	...	...	...

降順ソート可能な Query はパーティションキーの指定が必要
Scan は降順ソートできない

ひと手間とは、パーティションキーに現在日を指定し、1日づつ過去日に遡って複数回 Query を実行することです。ちょっと面倒ですね。

RDBMS だと...

RDBMS だと、以下のような日時とメッセージを持つテーブルに対して

create table logs (
  partition_key date not null,
  sort_key time not null,
  attribute_1 text
);

日時の降順でデータを取り出す SQL は、次のように簡単なんですけどね。

select * from logs order by parition_key desc, sort_key desc;

解決策

ではどのように DynamoDB で時系列の降順スキャンを実現するか、１つの解決策を紹介します。

メインの Key Schema か Global Secondary Index で次の 3点を行います。

パーティションキーを数字、ソートキーを文字列で定義する
パーティションキーには、日でまるめた負の UnixTime を保存する
ソートキーには UUID V7 の XOR 値を保存する

これだけで Scan が降順になります！

実行例

Partition Key（日で丸めた負の UnixTime）	Sort Key （UUID V7 の XOR）
-1704034800	fe6f5b49-df3a-8ecf-596f-e78e69ad53c2
-1704034800	fe6f5b49-5c9e-8e33-61fe-813dc262ced2
...	...

ポイント

UUID V7 はランダム性を備えつつ、作った順にソート可能な識別子です。そのまま使うと昇順になってしまうので一工夫して XOR 演算します。以下 go での UUID の XOR 例です。

package main

import (
	"fmt"
	"github.com/google/uuid"
)

func main() {
	uu := uuid.Must(uuid.NewV7())
	fmt.Printf("Before %s\n", uu.String())
	for i, u := range uu {
		uu[i] = ^u
	}
	fmt.Printf("After  %s\n", uu.String())
}

実行結果

Before 0190a4cd-d3e7-7222-9f99-fdb74feee752
After  fe6f5b32-2c18-8ddd-6066-0248b01118ad