ドキュメントに書いてあることだが、動かしてみないと理解できなかった。
設計時に注意したい入力データの単位の注意点をまとめる。
- 複数のファイルが indexer に処理される場合、"データ レコード"も複数になり、
batchSize
が 1 でない限りは入力オブジェクト(values
の中身)が複数になる - 入力オブジェクトと同じ数だけ response body にオブジェクトを詰める必要がある
-
recordId
入力と出力で一致させる
-
- collection (ex. /document/normalized_images/* ) が入力になった場合も入力オブジェクトが複数になる
- 入力の構造体を調整する場合は Shaper を利用する
-
batchSize
を小さくするとスループットが悪くなるので気をつける