/etc/yum.conf に
keepcache=1
と書いておきます ( man yum.confによるとデフォルトは1ですが、CentOS 6.3の/etc/yum.confにはkeepalive=0と書いてあるので、残したい場合は1に変更する必要があります)。
キャッシュされたrpmの一覧は以下のコマンドで見られます。
find /var/cache/yum -name '*.rpm'
なお、yum clean all
とかyum clean packages
を実行すると消えますので注意。