自宅の NAS で 98 本のコンテナを動かしています。
「そんなに動かしてメモリは大丈夫なのか」とよく聞かれるので、実際に測りました。

結論

つまり「本数を減らす」はほぼ効きません。効くのは特定の 3 本だけです。

平均が中央値の 6.9 倍になるのは、上位数本が桁違いに大きいからです。
平均で語ると判断を間違えます。「100 本動かしている」と聞いて想像するのは平均のほうですが、
実際は大半が数十 MB で、重いのはいつも同じ数本です。

メモリの上限を掛けていないコンテナが 67 本ある

98 本のうち 67 本は上限を設定していません。
それでも破綻していないのは、上限なしのコンテナが実際には数十 MB しか使っていないからです。
上限は「危ない数本」に掛ければ足りる、というのが実測から言えることです。

この機体で効いているのはメモリより I/O でした。

/proc/pressure/io の full は「全タスクが I/O 待ちで完全に止まっていた割合」です。
直近で 13.9%。体感の「たまに固まる」ではなく、常時この割合で止まっています。

特別な権限は要りませんでした。

コンテナの中からホストの /proc/pressure と /proc/meminfo がそのまま見えます。
--privileged も /proc のマウントも要りません
コンテナごとの数字は Docker API の /containers/<id>/stats?stream=false&one-shot=true。
one-shot を付けないと Docker が 1 本ごとに約 1 秒待つので、98 本で 98 秒かかります。
付ければ待たない代わりに CPU 割合が空で返るので、前回との差を自分で取ります
メモリの「作業実体」は usage - stats.cache（docker 本体と同じ勘定）

この計測そのものの重さは 1 周 257 ms（最大 331 ms）・
常駐 14MB 弱でした。15 分に 1 回動かしています。
観測のために対象を重くしていないことは、測る側も測っておくべきだと思います。