方法1: sprockets/railtieをロードしない
require 'rails/all'ではなく以下のような感じで個別にロードする。
require "rails"
require "active_model/railtie"
require "active_job/railtie"
require "active_record/railtie"
require "action_controller/railtie"
require "action_mailer/railtie"
require "action_view/railtie"
# require "sprockets/railtie"
参考:Railsガイドの「2.1 railties/lib/rails/all.rb」に、rails/allによって読み込まれるモジュールの解説がある
ただ、これをやるとRailsのバージョンアップデート時に毎回差分が発生してめんどい感じにはなる。
方法2: 空のmainfest.jsを置いておく
mkdir -p app/assets/config && echo '{}' > app/assets/config/manifest.js
消極的だがmanifest.jsが空なら何もしないので、まずまずな方法かなと。