【AWS SDK for PHP】ListObjects関数で、S3から1000件超えのリストを取得する方法。

概要

「AWS SDK for PHP」のListObjects関数は、
普通に使うと1000件までしかリストしてくれない仕様になっているが、
1000件超えでも取得できる方法は用意されているため、関数化してみました。

ポイント

1. ListObjects実行時に、1000件超えしていた場合、$objects["IsTruncated"]にTRUEがセットされて返ってくる。
2. ListObjects実行時、Marker引数にファイルのS3キーを指定すると、指定したファイルの次のファイルから1000件リストしてくれる。
3. $objects["IsTruncated"]===TRUE の場合、取得したリストの一番末尾のファイルをMarker引数に指定して再度ListObjects関数を実行する。
4. 3を $objects["IsTruncated"]===FALSE になるまで繰り返す。

ソース

<?php

require '/opt/aws-sdk/vendor/autoload.php';
use Aws\S3\S3Client;

$S3 = S3Client::factory();
$S3->registerStreamWrapper();

// リストを取得して、表示
var_dump(ListAllObjects($S3, "bucket_name", "key/key2", $marker = null, $delimiter=null));

// 1000件超えでも、全てリストしてくれる関数。
function ListAllObjects($S3, $bucket, $bucketPrefix, $marker = null, $delimiter=null){
	$objects = $S3->ListObjects(array(
			'Bucket' => $bucket,
			'Prefix' => $bucketPrefix,
			'Marker' => $marker,
			'Delimiter' => $delimiter
	));

	$list = array();
	if(isset($objects["Contents"])){
		// 取得したファイルのリストを$list配列に追加していく。
		foreach ((array)$objects["Contents"] as $object) {
			// フォルダはスルー。ファイルのみ追加。
			if(substr($object['Key'],-1,1) != "/"){
				array_push($list, "s3://{$bucket}/{$object['Key']}");
			}
		}
		// リストの結果が1000件超えの場合、IsTruncated がTRUEで返ってくる。=> FALSEになるまで繰り返せば良い。
		if($objects["IsTruncated"] === TRUE){
			$key = ltrim($list[count($list)-1],"s3://{$bucket}/");	// S3キー部分を取り出すして、これをMarkerに指定する。
			$list = array_merge($list,ListAllObjects($S3, $bucket, $bucketPrefix, $key, $delimiter)); // 再帰処理
		}
	}

	return $list;
}