Rails 4.1から追加されたconfig/secrets.ymlを使いたいと思います。
しかし、twelve factorでは環境変数の利用を薦めているようなので、両方を組み合わせようと思います。
secrets.yml
config/secrets.yml
development:
hoge:
key: <%= ENV["HOGE_KEY_DEV"] %>
production:
hoge:
key: <%= ENV["HOGE_KEY"] %>
環境変数
~/.your_shell.rc
# ENV VARIABLES
## dev
export HOGE_KEY_DEV="hogehoge"
# production
export HOGE_KEY="fugafuga"