nginxで勝手にproxy_cacheのファイルが消えてました。
そして、キャッシュファイルを複数サーバーで共有（同期）していたことが原因で、以下のエラーにぶち当たりました。

[crit] 8250#0: unlink() "FILE NAME" failed (2: No such file or directory)

unlink() "FILE NAME" failed (2: No such file or directory)

「キャッシュ消そう(unlinkしよう）と思ったけど、そんなファイルないよ」って言ってます。
これは、以下の流れで発生したと思われます。

サーバーAでキャッシュ消す
キャッシュ同期
サーバーBでキャッシュ消そうとする
unlink failedエラー

対応方法

そもそもキャッシュが消えるのがおかしい。なぜだ？と思ったら、キャッシュファイルの上限値を超えてたのが原因でした。
proxy_cache_pathのmax_sizeを引き上げることで対応できました。
この時dfなどで空容量を把握しておかないと、数時間後に「ディスク容量がない」系のエラーで怒られます

proxy_cache_path  /var/cache/nginx/proxy_cache levels=1:2 keys_zone=ゾーン名:ゾーン上限 max_size=キャッシュ上限;