Swift Package Manager にはいくつかオプションがあります。
それらは $ swift build --help コマンドで確認できます。

その中のひとつ -C オプションは、別のディレクトリにあるプロジェクトに対して $ swift build を実行することができます。

OPTIONS:
  --chdir <value>    Change working directory before any other operation [-C]

Makefile と同じです 💁

例

ビルド対象プロジェクトのルートではないディレクトリにいるものとします。
👇
そのプロジェクトに対して $ swift build を実行するには次のコマンドを実行します。

$ swift build -C <PathToTheRootOfYourProject>

$ cd <PathToTheRootOfYourProject> コマンドを使う必要がありません。 😇

補足

$ cd <PathToTheRootOfYourProject> コマンドを使ってもたいして手間は変わらないのでお好みの方法でお使いいただくのがよいですね 👍

たとえば Swift Package Manager 自身のプロジェクトなど同時に複数を扱っている場合には便利かと考えています ☺️

Swift Package Manager はまだまだこれからという状態ですので今後仕様がコロッと変わる可能性があります。🙏