TntDriveというソフトを使用することで、S3のバケットをWindowsのネットワークドライブに割り当てることができます。
手順①：TntDriveのインストール
はじめに、TntDriveのページからファイルをダウンロードし、インストールします。
https://tntdrive.com/ ※トライアル版(１ヵ月間)は無料ですが、トライアル版以降はライセンス版($39.95)を購入する必要があります。
手順②：S3への接続設定
インストールが完了したらTntDriveを起動し、「Add New Mapped Drive」を選択する。
Storage Typeに「Amazon S3 Storage」を選択し、S3にアクセスするためのAccess Key、Secret Access Keyを入力する。
手順③：S3へ接続
トップ画面にて「Open」ボタンを押下する。
ネットワークドライブにS3のバケットがマウントされていることを確認。
以上です。
製品版を購入するには40ドル程度の出費になりますが、いちいち管理コンソールからファイルをアップロードせずに済むため、購入してみる価値はあると思います。