前提

Amazon Connectのコンタクトフローより音声データストリーミングを有効化し、Kinesis Video Streamsへデータストリーミングを行います。
リアルタイムで音声データを送信する必要があり、通話が始まるとECSを起動して、リアルタイムで音声データの加工・送信を行います。
通話中は無限ループ内でリアルタイムで取得するストリーミングデータをGetMedia APIより取得し、データ加工を行い外部APIへデータ送信を行います。
通話終了後にEventBridgeを使用して通話終了トリガー用のLambdaを起動し、終話フラグをオンにすることでデータ送信処理を終了させています。

はじめに行っていたデータ取得方法

GetMedia APIよりデータ取得を行い、transformToByteArrayを使用して変換を行いデータ送信を行おうとしていました。

while(!isEndCalling ){ //終話フラグ
    const getMediaForFragmentListResponse = await kvsMediaClient.getMedia(getMediaCommand);
    const payload = getMediaForFragmentListResponse.Payload;
    const binary = await payload.transformToByteArray();

    // ~~ データ送信 ~~
}

awaitを使って非同期関数を呼び出す場合、JavaScriptの実行はそのプロミスが解決されるまで待機します。
transformToByteArrayがストリーミングデータを扱う場合、データストリームの終わり（EOF）が明確でないため、プロミスはデータストリームが終了するまで（つまり、通話が終了するまで）解決されません。
つまり、GetMedia APIで取得したストリーミングデータの終端をtransformToByteArrayが検知できないため、通話が終了するまで解決されません。

解決方法

GetMediaForFragmentListを使用する

GetMediaではなくGetMediaForFragmentListを使用することで解決できます。
GetMediaForFragmentListは開始時刻と終了時刻を指定してデータ取得を行うAPIです。
つまり,データストリームの終わりが明確となるため、上記問題を解決することができます。

while(!isEndCalling ) { //終話フラグ
    const getMediaForFragmentListResponse = await kvArchivedMediaClient.getMediaForFragmentList(getMediaForFragmentListCommand);
    const payload = getMediaForFragmentListResponse.Payload;
    const binary = await payload.transformToByteArray();

    // ~~ データ送信 ~~
}

実装上の注意点

1. 適切な時間範囲の設定

GetMediaForFragmentListを使用する際は、適切な時間範囲を設定する必要があります。
適切な時間範囲の設定をしないと、必要なデータが取得できていなかったり、逆に不必要なデータを取得してしまう可能性があります。

2. データの連続性の確保

連続したデータストリームを処理する場合、各呼び出しの時間範囲が重複しないよう注意する必要があります。
1.で記載した適切な時間範囲の設定を行うことで、データの連続性を確保することができます。

3. listFragmentsで取得されるフラグメントは順不同

listFragmentsで取得されるフラグメントは順不同となっているため、フラグメントタイムスタンプでソートしないとバラバラになってしまうことがあります。

参考

まとめ

Amazon Connectのリアルタイムのストリーミングデータ処理において、GetMedia APIを使用した方法では、データストリームの終端検知が困難でした。この問題を解決するために、GetMediaForFragmentList APIの使用しました。

開始時刻と終了時刻を指定してデータ取得が可能であり、データストリームの終わりが明確になり、処理の完了を適切に処理することができますが、適切な時間範囲の設定とデータの連続性を確保する必要があります。