バケットであれば、CloudWatchのメトリクスから確認できるのですが、
バケット内のディレクトリ単位（厳密にはディレクトリという概念ではない）ではCWでは見れません。
（自作すればCWからも見れるようになるだろうけど）
じゃあどうするかというとaws s3 コマンドにとあるオプションを追加することで取得できます。
aws s3 ls s3://バケット名/ディレクトリ名/ --summarize --recursive --human-readable
という形で確認できます。
これの注意点なのですが、lsコマンドをrecursiveで叩いたあとにその各オブジェクトの合計サイズをサマライズしてくれるというものなので、
lsの結果がずら～っとでてきます。
もし目に毒だと言う方は、
aws s3 ls s3://バケット名/ディレクトリ名/ --summarize --recursive --human-readable | tail
でお尻だけみるようにしましょう。（やらしいでぇ）
また、S3ではlistを取るだけでも確か課金がかかるため、オブジェクトの量によってはもしかしたら、
１円くらいかかってしまうかもしれません。