はじめに
こんにちは、株式会社ジールの@Suguru-Terouchiです。
今回はS3バケット配下のファイル一覧を取得する方法について記載したいと思います。
はじめに断っておきますと、執筆(2022/02/09)時点で
AWS-CLIを使って簡単(ここ重要)にファイル一覧を取得する方法は実はありません。
Google先生に聞いてみても、なかなか良い方法が見つかりませんでした。
Pythonが得意な方はちゃちゃっとプログラムも書いて実装されている方もいましたが、
そこまでのモチベーション()がない方向けにTipsとして残しておきます。
ファイル一覧を取得する方法
前置きが長くなりましたが、早速、本題の方法について記載していきたいと思います。
aws s3 ls s3://任意のバケット名/ --recursive
以上です。
この--recursive
というオプションを追加することで
指定バケット配下のフォルダ含めて全てのファイル一覧を出力することが出来ます。
ただし、この方法には一つ問題があります。
それはS3の仕様上、フォルダも一つのオブジェクトとして出力されてしまうことです。
それだと困るよ!という方は出力結果の二つ目の数字が
オブジェクトのデータサイズを表しているので「0」のものをエクセルなどで除外すればファイル一覧が完成します。
参考URL
https://docs.aws.amazon.com/cli/latest/reference/s3/ls.html
https://dev.classmethod.jp/articles/amazon-s3-folders/
https://techblog.recochoku.jp/1894
まとめ
いかがでしたでしょうか。
ふとした時に質問されて、あれ?どうだったっけ?と思ったので、備忘録として残しておきます。
ご参考になれば幸いです。
データ活用をサクッと始めるなら!
株式会社ジールでは、「ITリテラシーがない」「初期費用がかけられない」「親切・丁寧な支援がほしい」「ノーコード・ローコードがよい」「運用・保守の手間をかけられない」などのお客様の声を受けて、オールインワン型データ活用プラットフォーム「ZEUSCloud」を月額利用料にてご提供しております。
ご興味がある方は是非下記のリンクをご覧ください: