いくつかのサイトで、S3のObjectの操作を調べたのですが、有名なサイトでも、私が望んていた処理が一部満たされていない（1,000件以上のObjectの操作が出来ないなど)かったので、今回 go-lang で実装してみました。

注意点

AWS の API の仕様で、一度に１，０００件までの Object しか取得できない
ec2 上で実行した方が、料金を抑えることができるはず

前提条件

AWS CLI の設定が終わっていること。

実装


package main

import (
	"flag"
	"fmt"

	"github.com/aws/aws-sdk-go/aws"
	"github.com/aws/aws-sdk-go/service/s3"
)

var bucket string

// Regsion
const Region = "us-west-1"

func main() {
	flag.Parse()
	fmt.Println("flag.Args: ", flag.Args())
	fmt.Println(flag.Args()[0])

	bucket = flag.Args()[0]

	getS3Objects("prefix/")

}

func getS3Objects(prefix string) bool {

	var re = Region
	cli := s3.New(&aws.Config{Region: &re})

	params := &s3.ListObjectsInput{
		Bucket: aws.String(bucket),
		Prefix: aws.String(prefix),
	}

	cli.ListObjectsPages(params, addAclPublicRead)

	return true
}

func addAclPublicRead(resps *s3.ListObjectsOutput, more bool) bool {

	var re = Region
	cli := s3.New(&aws.Config{Region: &re})

	for n := 0; n < len(resps.Contents); n++ {
		params := &s3.PutObjectAclInput{
			Bucket: aws.String(bucket),
			Key:    aws.String(*resps.Contents[n].Key),
			ACL:    aws.String(s3.ObjectCannedACLPublicRead),
		}
		resp, err := cli.PutObjectAcl(params)

		if err != nil {
			fmt.Println(err.Error())
			return false
		}

		// Pretty-print the response data.
		fmt.Println(resp)
	}
	return true
}