Sentry.Plug は Plug.ErrorHandler のコールバックで実装されているので、use Sentry.Plug する前に無視したいエラーにマッチする handle_errors/2 を定義してやればできる。

lib/myapp_web/router.ex

use Plug.ErrorHandler

defp handle_errors(_conn, %{reason: %{plug_status: status}})
  when is_integer(status) and status >= 400 and status < 500 do
  nil
end

use Sentry.Plug