$ git config status.showUntrackedFiles all

を設定したうえで、stagingでディレクトリ名のところでTABを押すとディレクトリが展開されます。
これでディレクトリ単位でstagingしてから、unstagingしまくる必要がなくなります。
magit公式マニュアルのmagit-insert-untracked-filesに記載があります。

巨大なディレクトリの場合、レスポンスが悪くなる(最悪固まる)みたいなので、gitが探す範囲に大量のアウトプットを置くような場合、あらかじめignoreしておいた方がよさそう。