すでにQiitaには複数の「Rmagickインストールでエラー」記事がありますが、新しい事由によりエラーが起きていた記録のまとめ

$ brew install imagemagick

ではうまくいきません。
(最新のImageMagick 7がインストールされてしまい、ディレクトリ構成がrmagickの想定と一致しない)

正しい手順

以下の問題を解決しています

7.x には対応していないので imagemagick の古い(6.x)バージョンを指定している
最近のHomebrewが自動的にbrew updateを実行するのを抑止してbrew install している
pkgconfigの設定が指定されていない問題を修正

$ cd /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core
$ git checkout 6f014f2b7f1f9e618fd5c0ae9c93befea671f8be
(ImageMagick 6の最後のリビジョン)
$ cd -
$ export HOMEBREW_NO_AUTO_UPDATE=1
$ brew install imagemagick
$ PKG_CONFIG_PATH=/usr/local/lib/pkgconfig bundle install
$ unset HOMEBREW_NO_AUTO_UPDATE