tl;dr

nginx.confの設定をデフォルト値に変更orコメントアウト： output_buffers 2 32k;

内容

なぜかBootstrapのcssだけ読み込めず、chromeで ERR_EMPTY_RESPONSE エラーが発生。nginx側では掲題のエラーが発生していた。
事象としては、nginxのgzip機能でCSSデータをzip化しようとする際に発生。
キャッシュ機能をオフ open_file_cache off にしてみたが、解決せず、読み込むバッファ値 output_buffers を調整／オフにしたら解決した。項目について、

ディスクから応答を読み込むために使われるバッファの数とサイズを設定します。

との説明だが、ネットでも情報が少なく正直どういう項目か理解出来ていない。
この項目デフォルトのnginx.confにはそもそも項目がないためデフォルトはオフになっているのかもしれない。
ちなみにzip化処理のエラーのため、nginxのgzip機能をオフ gzip off; にすることでも一応解決はする。

環境

nginx:1.15.8-alpine
Docker Engine v20.10.24

参考