Googleのmod_pagespeedを入れてみました。
https://developers.google.com/speed/pagespeed/mod
静的な要素が多いページは体感値がかなり速くなりました。
しかし、httpsのページではCSS等が上手く読み込まれていなくて、どうしようかなと思っていた所、以下の設定をすることで解決しました。
pagespeed.conf
ModPagespeedRespectXForwardedProto on
ちなみに、環境はロードバランサーの後ろでアプリケーション・サーバーを動かしています。