ActiveSupportのdelegateしたやmethodをprivateにする方法ないかなーと思ってみてたら、Railsのmasterブランチだとオプション追加されてた。
https://github.com/rails/rails/blob/master/activesupport/lib/active_support/core_ext/module/delegation.rb#L171
delegate :hoge, to: :fuga, private: trueみたいな。

5-2-stableにはなかったのでリリースされるのはまだ先かなぁ。
ちなみにPRは以下。
https://github.com/rails/rails/pull/31933

他にも似たようなissueあがってるんで、リリースされるまでにI/Fかわるかもね。