以下のフレーズがあったのをふと思い出した。
Could you excuse us for a while?
「しばらくの間、我々だけにしてくれますか?」
Aさん、Bさん、Cさんがいた時、AさんとBさんがCさんにこのフレーズを言ってきたらCさんはその場を離れるように依頼されている。
http://ameblo.jp/mongolianchopper/entry-10312470202.html
皆で会食やら会議などをしていて、どうしても途中で出なければいけないときなどで使えるとても丁寧なフレーズ。「途中で失礼します。すみません」って表現。
こちらの例では、その場に残るのはフレーズを言った人「以外」で、上記の意味（その場に残るのはフレーズを言った人）と反対になるようだ。
上の例で「部屋に我々だけ残りたい」という意図をきちんというには、
Could you excuse us for a while? We would like to talk just between two of us.
のように言うのがいいかもしれない。