pgをインストールするにはgemのオプションでpg_configへのパスを指定しなければなりません。しかしbundlerでインストールする場合はどう渡したものか…。
調べてみると以下のように bundle install に先立って bundle config すればいいみたい。
$ bundle config build.pg --with-pg-config=/usr/local/bin/pg_config
$ bundle install
やってみたらすんなりとOKでした。その他のgemでも同様のやり方でオプションを渡せばいいみたいです。
参考：http://stackoverflow.com/questions/9234960/gem-install-pg-with-pg-config-works-bundle-fails